llama.cpp 加载多模态 GGUF 模型的方法，涵盖命令行工具及 Python 库的使用。需确保模型主文件与 mmproj 投影文件版本匹配，建议从官方仓库获取。注意预编译包可能不支持特定 CUDA 版本，Python 环境通常需自行编译 llama-cpp-python 模块。
llama.cpp 预编译包目前可能尚不支持 CUDA 12.6，编译过程也存在一些常见问题。此外，llama-cpp-python 组件通常需要自行编译安装。
使用 llama-mtmd-cli 命令加载模型。示例如下：
llama-mtmd-cli -m Qwen2.5-VL-3B-Instruct-q8_0.gguf --mmproj Qwen2.5-VL-3B-Instruct-mmproj-f16.gguf -p "Describe this image." --image ./car-1.jpg
注意：模型主 GGUF 文件必须与 mmproj 投影文件来自同一来源，否则可能出现兼容性问题。建议从 GGML 官方库下载相关文件： Multimodal GGUFs 官方库
参考官方文档：llama-cpp-python 多模态模型支持。
需要导入 Llama 类，官方已提供部分多模态模型的加载处理类（如 Qwen2.5-VL）。
from llama_cpp import Llama
微信公众号「极客日志V2」，在微信中扫描左侧二维码关注。展示文案：极客日志V2 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
随机生成西班牙地址（支持马德里、加泰罗尼亚、安达卢西亚、瓦伦西亚筛选），支持数量快捷选择、显示全部与下载。 在线工具，随机西班牙地址生成器在线工具，online
基于开源反向 Alpha 混合算法去除 Gemini/Nano Banana 图片水印，支持批量处理与下载。 在线工具，Gemini 图片去水印在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online