Linux 部署本地 AI 大模型与知识库对接指南
在 Linux 环境下通过 Docker 部署 FastGPT 和 OneAPI,结合 Ollama 运行本地大模型及 M3E 向量模型,实现本地知识库问答系统的完整流程。涵盖环境搭建、模型配置、渠道接入及知识库索引测试步骤,无需依赖第三方在线服务即可完成私有化部署。内容包括 Docker 安装、FastGPT 初始化、OneAPI 渠道配置、Ollama 本地模型接入以及向量数据库集成,最后提供常见问题排查建议。

在 Linux 环境下通过 Docker 部署 FastGPT 和 OneAPI,结合 Ollama 运行本地大模型及 M3E 向量模型,实现本地知识库问答系统的完整流程。涵盖环境搭建、模型配置、渠道接入及知识库索引测试步骤,无需依赖第三方在线服务即可完成私有化部署。内容包括 Docker 安装、FastGPT 初始化、OneAPI 渠道配置、Ollama 本地模型接入以及向量数据库集成,最后提供常见问题排查建议。

如果已安装 Docker,可跳过此步。
执行以下命令安装 Docker(逐行执行):
curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
systemctl enable --now docker
安装 Docker Compose(速度可能较慢):
curl -L https://github.com/docker/compose/releases/download/v2.20.3/docker-compose-$(uname -s)-$(uname -m) -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
若 GitHub 下载缓慢,可使用镜像站地址替换上述链接。安装完成后启动 Docker:
sudo systemctl start docker
验证安装:
docker -v
docker-compose -v
若显示版本号则说明安装成功。
FastGPT 支持多种部署方式,此处选择 Docker Compose 快速部署。
创建目录并下载必要的文件:
mkdir -p /usr/local/fastgpt
cd /usr/local/fastgpt/
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/files/deploy/fastgpt/docker-compose.yml
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json
首次启动会自动拉取所有镜像:
docker-compose up -d
先使用第三方提供的线上模型进行测试。前往零一万物官网注册账号,获取 API Key 并保存。
浏览器访问 OneAPI 管理页面,点击右上角登录。
默认用户名:root,密码:123456。
首次登录提示修改密码可暂忽略,直接点击导航栏【渠道】。
点击【添加新渠道】,填写相关信息:
返回渠道列表,点击【测试】,出现成功提示即表示配置完成。
在 /usr/local/fastgpt/data/config.json 中找到 llmModels 字段。复制现有配置项,修改 model 和 name 字段以匹配刚配置的 OneAPI 渠道。
保存后重启服务:
docker-compose down
docker-compose up -d
浏览器访问 FastGPT 登录页。
账号:root,密码:1234。
创建新应用:
访问 Ollama 官网,使用以下命令安装 Linux 版本:
curl -fsSL https://ollama.com/install.sh | sh
Ollama 默认绑定 127.0.0.1:11434,需修改环境变量以允许内网访问。编辑 /etc/systemd/system/ollama.service 文件,修改 Environment 值为:
Environment="OLLAMA_HOST=0.0.0.0"
保存后重启服务:
systemctl daemon-reload
systemctl restart ollama
浏览器访问 http://<服务器 IP>:11434,看到界面即表示安装成功。
在 Ollama 官网搜索所需模型,例如 qwen。根据服务器性能选择版本,执行下载命令:
ollama pull qwen
下载完成后自动进入交互模式,按 Ctrl+D 退出。
在 OneAPI 中新建渠道:
ollama list 查得的模型名(如 qwen),确保完全一致。sk-keyhttp://127.0.0.1:11434)提交后回到渠道列表测试,成功提示即表示连接正常。
后续步骤与测试线上模型一致:
config.json 中添加新配置。使用 Docker 部署 M3E 向量模型 API:
docker run -d registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest
在 OneAPI 中新建渠道:
m3esk-aaabbbcccdddeeefffggghhhiiijjjkkkhttp://<容器 IP>:8000(具体端口视容器映射而定)在 config.json 中增加向量模型配置至 vectorModels 字段。同时,将之前新增的本地 Qwen 模型中的 datasetProcess 设置为 true,以便在知识库中选择该模型处理数据。
重启服务后,进入 FastGPT 知识库:
m3e。默认有【手动录入】文件夹,录入测试数据。回到应用关联该知识库,保存预览。提问知识库相关问题,或上传文档等待索引完成后进行问答测试。

微信公众号「极客日志」,在微信中扫描左侧二维码关注。展示文案:极客日志 zeeklog
使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online
生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online
基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具,Base64 文件转换器在线工具,online
将 Markdown(GFM)转为 HTML 片段,浏览器内 marked 解析;与 HTML转Markdown 互为补充。 在线工具,Markdown转HTML在线工具,online