本文详细阐述了在 Linux 系统下从零部署 AI 大模型应用的完整流程。内容涵盖 Docker 环境安装、FastGPT 平台容器化部署、OneAPI 模型网关配置、Ollama 本地模型运行及网络暴露设置。重点讲解了如何将线上模型与本地 Ollama 模型统一接入 OneAPI，并通过 FastGPT 进行调用。此外，还介绍了 M3E 向量模型的部署与知识库 RAG 功能的实现，包括向量渠道配置、索引模型选择及文档处理流程。最后补充了常见问题排查与性能优化建议，帮助用户构建安全、可控的私有化大模型应用环境。
本文详细介绍在 Linux 环境下，从零开始部署 AI 大模型应用的全流程。涵盖 Docker 环境配置、FastGPT 平台搭建、OneAPI 模型网关对接、Ollama 本地模型运行以及向量数据库集成实现知识库问答功能。
本教程主要涉及以下核心工具：
若系统中已安装 Docker，可跳过此步。执行以下命令进行安装（建议使用阿里云镜像加速）：
curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
systemctl enable --now docker
用于编排多容器应用。由于 GitHub 下载可能较慢，建议配置镜像源。
# 标准安装方式
curl -L "https://github.com/docker/compose/releases/download/v2.20.3/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
# 若下载缓慢，可使用镜像站地址替换上述 curl 链接中的原始 URL
启动 Docker 并检查版本信息：
sudo systemctl start docker
docker -v
docker-compose -v
若输出版本号，则表明安装成功。
FastGPT 提供了多种部署方式，推荐使用 Docker Compose 快速部署。
mkdir -p /usr/local/fastgpt
cd /usr/local/fastgpt/
下载 docker-compose.yml 和 config.json 文件：
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/files/deploy/fastgpt/docker-compose.yml
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json
首次启动会自动拉取所需镜像，请耐心等待：
docker-compose up -d
为了统一管理模型接口，我们需要配置 OneAPI。初期可先使用线上免费额度进行测试。
前往零一万物官网注册账号，并在 API Key 管理页面获取密钥。该密钥后续将用于配置渠道。
浏览器访问 OneAPI 管理界面（默认端口通常为 3000），使用默认凭证登录：
root123456首次登录建议修改密码，但为简化演示可直接进入【渠道】管理页。
点击【添加新渠道】，填写以下信息：
保存后点击【测试】按钮，若显示成功则配置生效。
在 /usr/local/fastgpt/projects/app/data/config.json 中找到 llmModels 字段。复制现有配置项，修改 model 和 name 字段以匹配 OneAPI 中配置的模型名称。
示例结构：
{
"llmModels": [
{
"model": "your-model-name",
"name": "Your Model Name",
...
}
]
}
修改完成后重启服务使配置生效：
docker-compose down
docker-compose up -d
浏览器访问 FastGPT 前端页面，使用默认账号登录（root/1234）。
为实现完全本地化的推理能力，我们引入 Ollama。
使用官方脚本一键安装：
curl -fsSL https://ollama.com/install.sh | sh
Ollama 默认仅监听 127.0.0.1:11434。若需允许局域网内其他机器访问，需修改 systemd 服务配置：
编辑文件 /etc/systemd/system/ollama.service，在 Environment 行中添加或修改：
Environment="OLLAMA_HOST=0.0.0.0"
重载配置并重启服务：
systemctl daemon-reload
systemctl restart ollama
验证服务状态，浏览器访问 http://<服务器 IP>:11434 应能看到 Ollama 管理界面。
通过命令行拉取所需的模型文件，例如 Qwen 系列：
ollama pull qwen:latest
查看已下载的模型列表：
ollama list
为了让 FastGPT 能够调用本地 Ollama 模型，需将其注册到 OneAPI 中。
在 OneAPI 后台新建渠道：
ollama 中下载的模型名（如 qwen），确保拼写完全一致。sk-keyhttp://127.0.0.1:11434提交配置后，点击【测试】按钮确认连通性。成功后，重复第五步的操作，在 FastGPT 的 config.json 中添加该模型配置并重启服务。
要实现基于私有数据的问答（RAG），需要引入向量嵌入模型。
使用 Docker 部署 FastGPT 提供的 M3E 向量 API 服务：
docker run -d registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest
在 OneAPI 中新建渠道：
m3esk-aaabbbcccdddeeefffggghhhiiijjjkkkhttp://<IP>:<Port> (根据实际容器映射端口)修改 config.json，在 vectorModels 字段中添加向量模型配置。同时，确保之前添加的本地语言模型中将 datasetProcess 设置为 true，以便支持知识库处理。
m3e。此时，向应用提问与知识库内容相关的问题，系统将自动检索并生成回答。
q4_k_m）。OLLAMA_HOST 环境变量已正确生效且服务处于运行状态。通过以上步骤，我们完成了从基础环境搭建到本地大模型知识库集成的全过程。该方案实现了数据的本地化处理，保障了隐私安全，同时降低了 API 调用成本。后续可根据业务需求，进一步探索多模态支持、Agent 自动化工作流等高级功能。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online