Linux 部署本地 AI 大模型与知识库对接指南

保存后重启服务：

docker-compose down
docker-compose up -d

3. 配置 FastGPT 应用

浏览器访问 FastGPT 登录页。 账号：root，密码：1234。

创建新应用：

1. 选择模型：零一万物（即 config.json 中配置的渠道）。
2. 点击【保存并预览】即可开始对话。

安装 Ollama

1. 安装与配置

访问 Ollama 官网，使用以下命令安装 Linux 版本：

curl -fsSL https://ollama.com/install.sh | sh

Ollama 默认绑定 127.0.0.1:11434，需修改环境变量以允许内网访问。编辑 /etc/systemd/system/ollama.service 文件，修改 Environment 值为：

Environment="OLLAMA_HOST=0.0.0.0"

保存后重启服务：

systemctl daemon-reload
systemctl restart ollama

浏览器访问 http://<服务器 IP>:11434，看到界面即表示安装成功。

2. 下载本地模型

在 Ollama 官网搜索所需模型，例如 qwen。根据服务器性能选择版本，执行下载命令：

ollama pull qwen

下载完成后自动进入交互模式，按 Ctrl+D 退出。

将本地模型接入 OneAPI

在 OneAPI 中新建渠道：

• 模型类型：选择【Ollama】
• 名称：自定义
• 模型名称：点击【清除所有模型按钮】，手动输入 ollama list 查得的模型名（如 qwen），确保完全一致。
• 密钥：固定填写 sk-key
• 代理：填写本地 Ollama 地址（如 http://127.0.0.1:11434）

提交后回到渠道列表测试，成功提示即表示连接正常。

后续步骤与测试线上模型一致：

1. 在 config.json 中添加新配置。
2. 重启 FastGPT 服务。
3. 新建应用并选择新模型。
4. 保存预览，即可与本地大模型对话。

安装向量模型与知识库

1. 部署 M3E 向量模型

使用 Docker 部署 M3E 向量模型 API：

docker run -d registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest

2. 配置向量通道

在 OneAPI 中新建渠道：

• 类型：OpenAI
• 名称：自定义
• 模型：手动填入 m3e
• 密钥：sk-aaabbbcccdddeeefffggghhhiiijjjkkk
• 代理：http://<容器 IP>:8000（具体端口视容器映射而定）

3. 更新 FastGPT 配置

在 config.json 中增加向量模型配置至 vectorModels 字段。同时，将之前新增的本地 Qwen 模型中的 datasetProcess 设置为 true，以便在知识库中选择该模型处理数据。

重启服务后，进入 FastGPT 知识库：

1. 新建知识库。
2. 索引模型选择 m3e。
3. 文件处理模型选择本地 Ollama 模型。
4. 确认创建。

4. 测试知识库

默认有【手动录入】文件夹，录入测试数据。回到应用关联该知识库，保存预览。提问知识库相关问题，或上传文档等待索引完成后进行问答测试。

常见问题排查

1. 无法访问 Ollama 接口：检查防火墙设置，确保 11434 端口开放。
2. OneAPI 测试失败：确认代理地址是否正确，密钥是否包含特殊字符。
3. 知识库索引慢：M3E 模型较大，首次索引耗时较长，请耐心等待。
4. 内存不足：本地大模型对显存要求较高，建议根据硬件情况选择合适的模型量化版本。