openclaw使用本地llama.cpp

llama.cpp兼容openapi接口,自然可以作为openclaw的后端。
添加自定义provider同前:为openclaw增加自定义provider
反复修改,总是不能得到正确的model状态。

{"meta":{"lastTouchedVersion":"2026.2.3-1", "lastTouchedAt":"2026-02-05T12:16:30.399Z"}, "wizard":{"lastRunAt":"2026-01-30T12:20:58.674Z", "lastRunVersion":"2026.1.29", "lastRunCommand":"onboard", "lastRunMode":"local"}, "models":{"mode":"merge", "providers":{"llamacpp":{"baseUrl":"http://192.168.1.182:8087/v1", "apiKey":"no need key", "api":"openai-completions", "models":[{"id":"Qwen3-8B-Q6_K", "name":"Qwen3", "api":"openai-completions", "reasoning": true, "input":["text"], "cost":{"input":0, "output":0, "cacheRead":0, "cacheWrite":0}, "contextWindow":262144, "maxTokens":32000}]}}}, "agents":{"defaults":{"model":{"primary":"llamacpp/Qwen3-8B-Q6_K"}, "models":{"llamacpp/Qwen3-8B-Q6_K":{"alias":"Qwen3"}}, "maxConcurrent":4, "subagents":{"maxConcurrent":8}}}, "messages":{"ackReactionScope":"group-mentions"}, "commands":{"native":"auto", "nativeSkills":"auto"}, "gateway":{"port":18789, "mode":"local", "bind":"loopback", "auth":{"mode":"token", "token":"a08c51975f90e3afa566f4af1de977a70b6e9630909cc8c0", "password":"a08c51975f90e3afa566f4af1de977a70b6e9630909cc8c0"}, "tailscale":{"mode":"off", "resetOnExit":false}}, "skills":{"install":{"nodeManager":"npm"}}}

注意C:\Users\yusp7.openclaw\agents\main\agent\models.json,要与config\models\provider里一致,内容不能有重复provider名的:

{"providers":{"llamacpp":{"baseUrl":"http://192.168.1.182:8087/v1", "apiKey":"no need key", "api":"openai-completions", "models":[{"id":"Qwen3-8B-Q6_K", "name":"Qwen3", "api":"openai-completions", "reasoning": true, "input":["text"], "cost":{"input":0, "output":0, "cacheRead":0, "cacheWrite":0}, "contextWindow":262144, "maxTokens":32000}]}}}
在这里插入图片描述


但是,为什么返回的对话不对?

在这里插入图片描述

Read more

llama.cpp是什么?

lama.cpp 是一个基于 C/C++ 的高性能推理框架,专门用于在本地设备上高效运行 Meta(原 Facebook)开源的 LLaMA 系列大语言模型(如 LLaMA-1/2、Alpaca 等)。它通过优化计算和内存管理,使得即使在没有高端 GPU 的普通电脑(甚至树莓派、手机等嵌入式设备)上也能运行大模型。 核心特点 1. 轻量与高效: * 纯 C/C++ 实现,无第三方依赖,对 CPU 架构(如 x86、ARM)优化。 * 支持 4-bit 量化(如 GGUF 格式),显著降低模型体积和内存占用(例如 7B 模型可压缩到

By Ne0inhk
日语视频 SRT 字幕生成软件下载:日语视频本地自动翻译SRT字幕生成、日语视频自动翻译 Faster Whisper v1.7 下载与使用教程(含AMD显卡支持)

日语视频 SRT 字幕生成软件下载:日语视频本地自动翻译SRT字幕生成、日语视频自动翻译 Faster Whisper v1.7 下载与使用教程(含AMD显卡支持)

日语视频 SRT 字幕生成软件下载:日语视频本地自动翻译SRT字幕生成、日语视频自动翻译 Faster Whisper v1.7 下载与使用教程(含AMD显卡支持) 关键词:Faster Whisper 教程、Whisper 本地部署、CUDA 12.8 下载、AMD ROCm Whisper、日文转中文 转录工具、Whisper 批处理模式、RTX 50 CUDA 版本选择 下载地址: https://pan.quark.cn/s/b18c407fc471 这篇文章系统整理 Faster-Whisper-TransWithAI-ChickenRice v1.7 的版本说明、显卡选择方式、下载地址以及快速上手流程,尤其是: * ✅ 基础版 vs 海南鸡版区别

By Ne0inhk
【混元AIGC+腾讯云智能体+首创Coze核心流思维导图MCP】:打造一个文思通-智能写作助手Agent

【混元AIGC+腾讯云智能体+首创Coze核心流思维导图MCP】:打造一个文思通-智能写作助手Agent

【混元AIGC+腾讯云智能体+首创Coze核心流思维导图MCP】:打造一个文思通-智能写作助手Agent 1.背景 作为一名长期关注人工智能发展的内容创作者,我经常需要撰写关于AI技术、应用趋势和产品体验的文章。然而,在实际写作过程中,常常会遇到灵感枯竭、结构混乱、表达不够精准等问题。有时候写到一半才发现逻辑断层,或者内容重复,甚至忘记了一些关键知识点。 为了解决这些痛点,我决定打造一个专属于自己的智能写作助手,取名为“文思通”——寓意“文思如泉涌,条理通达”。这个助手不仅要能帮我生成内容,更要具备结构化思维引导、逻辑梳理和语言润色的能力。 最近,我接触到一种创新的工具组合:以 Coze 平台为核心逻辑流,结合自研的思维导图 MCP 服务,可以实现从文本到可视化思维导图的自动转换。这正好解决了我在构思阶段缺乏条理的问题。而选择开发平台时,我注意到腾讯云智能体开发平台与腾讯混元大模型(Hunyuan AIGC) 的深度整合能力非常出色,支持工作流编排、插件扩展(MCP),并且提供稳定高效的推理服务。 最终,我决定采用“混元AIGC + 腾讯云智能体平台

By Ne0inhk

GitHub 教育认证通过后如何领取 Copilot Pro

最近我通过了 GitHub 教育认证(Student Developer Pack),但是发现并没有立刻拿到 Copilot Pro。折腾了一番之后终于搞定了,这里记录一下过程,方便后面遇到同样问题的同学。 1. 教育认证通过 ≠ 立即开通 当你刚刚通过认证时,Student Pack 页面可能显示绿标,提示福利稍后开放,这时候需要等待几天到两周左右。 * 绿标:福利还在处理阶段(will be available soon)。 * 紫标:福利已经激活(benefits are now available)。 所以,如果你刚过认证但没看到 Copilot Pro,不用急,先等等。 2. 手动领取 Copilot Pro 即使福利已经激活,你也需要手动去领取: 👉 访问这个链接: https://github.com/github-copilot/

By Ne0inhk