llama.cpp加载多模态gguf模型

llama.cpp预编译包还不支持cuda12.6
llama.cpp的编译,也有各种坑
llama.cpp.python的也需要编译
llama.cpp命令行加载多模态模型
llama-mtmd-cli -m Qwen2.5-VL-3B-Instruct-q8_0.gguf --mmproj Qwen2.5-VL-3B-Instruct-mmproj-f16.gguf -p "Describe this image." --image ./car-1.jpg 

**模型主gguf文件要和mmporj文件从一个库里下载,否则会有兼容问题,建议从ggml的官方库里下载
Multimodal GGUFs官方库

llama.cpp.python加载多模态模型

看官方文档
要使用LlamaChatHandler类,官方已经写好了不少多模态模型的加载类,比如qwen2.5vl的写法:

from llama_cpp import Llama 

Read more

AI Agent 入门:什么是执行式智能体,一文看懂

AI Agent 入门:什么是执行式智能体,一文看懂

AI Agent 入门:什么是执行式智能体,一文看懂 📝 本章学习目标:本章是入门认知部分,帮助零基础读者建立对AI Agent的初步认知。通过本章学习,你将全面掌握"AI Agent 入门:什么是执行式智能体,一文看懂"这一核心主题。 一、引言:为什么这个话题如此重要 在AI Agent快速发展的今天,AI Agent 入门:什么是执行式智能体,一文看懂已经成为每个开发者和研究者必须了解的核心知识。无论你是技术背景还是非技术背景,理解这一概念都将帮助你更好地把握AI时代的机遇。 1.1 背景与意义 💡 核心认知:AI Agent正在从"对话工具"进化为"执行引擎",能够主动完成任务、调用工具、与外部世界交互。这一变革正在深刻改变我们的工作和生活方式。 从2023年AutoGPT的横空出世,到如今百花齐放的Agent生态,

Obsidian+Claude Code打造本地AI知识库

Claudian + Obsidian Skills 1. 核心组件 * Claudian: Obsidian 第三方插件(暂未上架官方市场),适配 Claude Code。 * Obsidian Skills: 由 Obsidian CEO (Kepano) 发布的 Skill 包,赋予 AI 处理 Canvas、Markdown 及数据库的能力。 2. 环境部署流程 2.1 安装 Claudian 插件 (手动旁加载) 1. 获取文件: 访问 GitHub 仓库 claudian,下载以下三个核心文件: * main.js * manifest.json * styles.css 2. 放置插件:

保姆级教程:OpenClaw 本地 AI 助手安装、配置与钉钉接入全流程

保姆级教程:OpenClaw 本地 AI 助手安装、配置与钉钉接入全流程

文章目录 * 保姆级教程:OpenClaw 本地 AI 助手安装、配置与钉钉接入全流程 * 🌟 引言 * 第一步:环境准备 * 1. 安装 Node.js * 2. 安装 Git * 第二步:安装 OpenClaw * 方式一:使用 npm 全局安装(通用推荐) * 方式二:Windows 快捷安装脚本 * 第三步:首次运行与初始化配置 (Onboard) * 1. 环境依赖检查 * 2. 向导配置流程 * 3. 网关启动与测试 * 第四步:进阶玩法——将 OpenClaw 接入钉钉机器人 * 1. 创建钉钉企业内部应用 * 2. 通过 npm 安装钉钉插件 * 3. 测试通道通讯

Java开发者必看:从零搭建可落地的AI Agent,这篇实战指南够硬核

Java开发者必看:从零搭建可落地的AI Agent,这篇实战指南够硬核

随着AI Agent概念的爆火,很多Java开发者都在问:“怎么用Java搭建属于自己的AI Agent?”“现有Java技术栈能适配AI Agent的核心需求吗?”“有没有可直接复用的实战方案?” 答案是:完全可以。Java的稳定性、丰富的生态库(如Spring、LangChain4j)以及成熟的企业级应用适配能力,其实是搭建生产级AI Agent的优质选择。本文就从核心原理、技术选型、实战搭建、优化技巧四个维度,带大家从零打造一个能自主完成“数据查询-结果分析-报告生成”的Java AI Agent,全程干货,可直接落地。 先理清核心逻辑:Java AI Agent的底层架构是什么? 不管是用哪种语言开发,AI Agent的核心都是“目标拆解-工具调用-步骤执行-结果反馈”的闭环。对应到Java技术栈,一个可落地的AI Agent架构主要包含5个核心模块,用一张图就能看懂(文字拆解如下): 1. 指令解析模块:接收用户自然语言指令,转化为AI可理解的结构化目标(比如把“统计近30天订单数据并生成报表”拆解为“查询订单表→