本文详细讲解如何在本地环境中使用 Ollama 部署开源大语言模型，并通过 FastGPT 构建智能体工作流。内容涵盖软件安装、模型管理、API 接口配置及 Python 客户端调用示例，帮助用户实现数据隐私保护的私有化 AI 应用开发。
在数据隐私和成本控制日益重要的今天，本地部署大语言模型（LLM）成为许多开发者和企业的首选方案。本文将详细介绍如何利用 Ollama 作为本地推理引擎，结合 FastGPT 构建智能体工作流，实现完全私有的 AI 应用。
Ollama 是一个开源的轻量级框架，用于在本地运行大型语言模型。它简化了模型的下载、运行和管理过程，支持通过 API 进行交互，兼容多种主流开源模型（如 Llama3, Qwen, Mistral 等）。
FastGPT 是一个基于 LLM 的应用开发平台，提供可视化工作流编排能力。它支持接入本地或云端的 LLM 服务，允许用户快速搭建知识库问答、智能对话机器人等应用场景。
使用官方提供的安装脚本：
curl -fsSL https://ollama.com/install.sh | sh
访问官网下载 .exe 安装包并运行，默认安装路径为 C:\Program Files\Ollama。
安装完成后，Ollama 通常会自动启动后台服务。可通过以下命令检查状态：
ollama serve
默认监听地址为 http://localhost:11434。
使用命令行拉取所需的开源模型。例如，拉取 Llama3 或 Qwen：
# 拉取 Llama3 8B 版本
ollama pull llama3
# 拉取通义千问
ollama pull qwen:7b
查看已安装的模型列表：
ollama list
FastGPT 支持自定义 API 源，可将 Ollama 作为后端模型提供商。
http://host.docker.internal:11434（若在 Docker 中运行 FastGPT）或 http://localhost:11434。llama3）。除了使用 FastGPT 界面，开发者也可以通过 Python 直接调用 Ollama API 进行集成。
import requests
import json
def chat_with_ollama(prompt, model="llama3"):
url = "http://localhost:11434/api/chat"
payload = {
"model": model,
"messages": [
{"role": "user", "content": prompt}
],
"stream": False
}
try:
response = requests.post(url, json=payload)
response.raise_for_status()
result = response.json()
return result["message"]["content"]
except Exception as e:
return f"Error: {str(e)}"
if __name__ == "__main__":
while True:
user_input = input("用户输入：")
if user_input.lower() in ["exit", "quit"]:
print("会话结束")
break
reply = chat_with_ollama(user_input)
print(f"AI 回复：{reply}\n")
/api/chat。model 和 messages。通过 Ollama 和 FastGPT 的组合，用户可以低成本、高效率地搭建本地私有化大模型应用。这种方式不仅保障了数据隐私，还避免了云端调用的费用。随着开源模型生态的成熟，本地部署将成为 AI 落地的主流趋势之一。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online