本文详细介绍了基于 Docker 部署 FastGPT 与本地大模型的完整流程。内容涵盖 Docker 及 Compose 的安装配置，FastGPT 的快速部署方法，OneAPI 作为模型网关的渠道配置（包括线上零一万物模型与本地 Ollama 模型），以及 M3E 向量模型的接入以实现 RAG 知识库功能。文章还补充了网络安全加固建议、常见故障排查技巧及性能优化方案，旨在帮助技术人员构建稳定、私有的大模型应用环境，为 AI 工程化落地提供实践参考。
随着大语言模型（LLM）技术的快速发展，企业和个人对私有化部署大模型的需求日益增长。本文详细介绍如何搭建一套完整的本地大模型应用环境，包括使用 Docker 容器化技术安装基础组件，配置 FastGPT 作为前端交互界面，利用 OneAPI 作为模型代理网关，以及接入 Ollama 实现本地模型推理和 M3E 向量模型支持知识库检索。
本方案适用于希望在大模型领域进行技术转型、开发 AI 应用或构建企业内部知识库的技术人员。
注意：如果系统中已安装 Docker，可跳过此步骤，但请确保版本为 20.10 以上。
执行以下命令安装 Docker（建议使用国内镜像源以加速下载）：
curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
systemctl enable --now docker
Docker Compose 用于管理多容器应用。由于 GitHub 下载可能较慢，可使用镜像站地址：
curl -L https://github.com/docker/compose/releases/download/v2.20.3/docker-compose-$(uname -s)-$(uname -m) -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
若 GitHub 访问受限，可替换为镜像地址：
curl -L https://hub.nuaa.cf/docker/compose/releases/download/v2.20.3/docker-compose-$(uname -s)-$(uname -m) -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
启动 Docker 服务并检查版本号：
sudo systemctl start docker
docker -v
docker-compose -v
若输出版本号信息，说明安装成功。
FastGPT 是一个开源的 LLM 应用开发平台，支持快速构建对话机器人。
mkdir -p /usr/local/fastgpt
cd /usr/local/fastgpt/
从官方仓库获取 docker-compose.yml 和 config.json：
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/files/deploy/fastgpt/docker-compose.yml
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json
首次启动会拉取所有镜像，请耐心等待：
docker-compose up -d
OneAPI 负责将不同的模型接口标准化，便于 FastGPT 调用。
为了测试线上模型，我们使用零一万物（Yi-Model）提供的免费额度。
假设 OneAPI 已部署在同一网络环境中，默认访问地址为 http://ip:3001。
root123456首次登录建议修改密码以确保安全。
在 /usr/local/fastgpt/projects/app/data/config.json 文件中找到 llmModels 字段。
复制现有配置项，修改 model 和 name 字段以匹配 OneAPI 中配置的模型名称。
保存后重启服务生效：
docker-compose down
docker-compose up -d
为了降低 API 成本并保护数据隐私，建议部署本地模型。
在 Linux 服务器上执行官方安装脚本：
curl -fsSL https://ollama.com/install.sh | sh
Ollama 默认绑定 127.0.0.1:11434，内网其他机器无法访问。需修改 systemd 服务配置：
/etc/systemd/system/ollama.service。Environment 行，设置 OLLAMA_HOST=0.0.0.0。systemctl daemon-reload
systemctl restart ollama
访问 Ollama 官网搜索所需模型（如 Qwen），复制下载命令执行：
ollama pull qwen:7b
下载完成后，可通过终端直接对话测试：
ollama run qwen:7b
# 按 Ctrl+D 退出
在 OneAPI 后台新建渠道：
ollamaollama list 查看）。sk-keyhttp://localhost:11434）提交配置后，在渠道列表点击【测试】，确认状态为成功。
重复第 5 步的操作，在 config.json 中添加新的本地模型配置，重启服务后即可在 FastGPT 中选择本地模型进行对话。
为了实现基于文档的智能问答，需要引入向量模型。
使用 Docker 部署 M3E 向量模型 API：
docker run registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest
在 OneAPI 中新建渠道：
m3esk-aaabbbcccdddeeefffggghhhiiijjjkkkconfig.json 中，将向量模型配置添加到 vectorModels 字段。datasetProcess 设置为 true，以便支持知识库处理。m3e，文件处理模型选择本地 Qwen 模型。docker logs <container_id> 查看详细错误日志。本文完整演示了从 Docker 环境搭建到本地大模型知识库落地的全流程。通过 FastGPT + OneAPI + Ollama 的组合，开发者可以低成本地构建具备私有化部署能力的大模型应用。后续可根据业务需求，进一步探索高级编排功能、微调模型或扩展更多垂直领域的模型支持。
对于希望转型至大模型领域的技术人员，掌握上述部署流程是迈向 AI 工程化的重要一步。建议在实际项目中结合 LangChain 等框架深化应用开发能力，提升解决复杂业务问题的水平。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online