llama.cpp 加载多模态 GGUF 模型需注意预编译包对 CUDA 版本的支持情况，编译过程可能存在兼容性问题。命令行模式可使用 llama-mtmd-cli 指定模型及图片路径进行推理。Python 模式下需安装 llama-cpp-python 并参考官方文档配置 LlamaChatHandler 类。模型文件建议从官方 GGUF 库获取以确保兼容性。
llama.cpp 预编译包可能尚不支持 CUDA 12.6，编译过程中存在多种兼容性问题，Python 版本也需要单独编译。
使用 llama-mtmd-cli 加载多模态模型示例：
llama-mtmd-cli -m Qwen2.5-VL-3B-Instruct-q8_0.gguf --mmproj Qwen2.5-VL-3B-Instruct-mmproj-f16.gguf -p "Describe this image." --image ./car-1.jpg
注意：模型主 GGUF 文件和 mmproj 文件建议从同一来源下载，否则会有兼容问题。可从 ggml 官方库获取：Multimodal GGUFs 官方库
参考官方文档：llama-cpp-python 文档
需使用 LlamaChatHandler 类，官方已提供部分多模态模型的加载类，例如 qwen2.5vl 的写法：
from llama_cpp import Llama
微信公众号「极客日志V2」，在微信中扫描左侧二维码关注。展示文案：极客日志V2 zeeklog
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
随机生成西班牙地址（支持马德里、加泰罗尼亚、安达卢西亚、瓦伦西亚筛选），支持数量快捷选择、显示全部与下载。 在线工具，随机西班牙地址生成器在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online