本地离线部署大模型 Ollama+AnythingLLM 涉及安装 Ollama、配置环境变量、加载自定义模型文件及运行测试。随后通过 AnythingLLM 前端工具连接 Ollama 接口，设置向量数据库并新建空间，完成本地化 AI 对话环境的搭建。该方案支持 Qwen 等模型私有化部署，确保数据隐私与离线可用性。
Qwen7b.gguf 是阿里巴巴的通义千问大模型，7B 大模型，7 亿参数，至少需要 8G 内存，越大回复越流畅。
下载完后，双击 OllamaSetup，自动安装成功，默认安装在 C 盘，不能选择安装路径的哦，安装完后，右下角会出现 Ollama 图标。
OLLAMA_MODELS，随意指定变量值，如图所示：
| Python | OLLAMA_MODELS |
|---|
选择右键小图标，然后退出。
在开始菜单中找到重启 Ollama。
在 blobs 下创建 Modelfile 文件，没有后缀。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
FROM ./qwen7b.gguf
ollama create qwen -f Modelfile.txt
等待差不多 10 分钟，出现 success 表示成功。
ollama list
ollama run qwen
运行成功的窗口如下：
这样就可以开始对话了。
我们接着讲解，如何通过 AnythingLLM 实现友好对话的。
安装 AnythingLLM
双击安装包，它会自动安装完成。
这是安装后的界面。
接下来我们设置一下 ollama 配置，anythingllm 是一个前端，ollama 是一个运行大模型的后台，我们现在需要通过 anythingllm 去调用后台接口，方便我们实现友好对话。
配置 Ollama
llmProvider 这里选择 Ollama，后台访问接口地址 url 默认为：http://127.0.0.1:11434，模型我们选择 llama3 中文版，也可以选择已经安装的模型 qwen，token 默认即可，如下图所示：
设置向量数据库
选择 lanceDB 即可。
新建空间
接下来我们测试一下。
