本文介绍如何在本地电脑通过 Ollama 部署开源大模型。内容包括软件安装、模型下载与管理、命令行交互方式以及 Chatbox 图形界面配置。此外还涵盖了硬件要求、Python API 调用示例及常见问题排查，帮助用户构建完全离线的本地 AI 环境。
在某些场景下，构建完全本地离线可用的大模型环境是必要的，这能保障数据隐私并降低网络依赖。Ollama 是目前最简单快捷的本地部署方案之一，支持 Qwen、Llama3、Mistral 等多种主流开源模型。本文将详细介绍如何在 Windows 环境下通过 Ollama 部署模型，并使用 Chatbox 图形界面进行交互。
访问 Ollama 官网下载安装包，双击运行安装程序。安装过程中保持默认设置即可。
安装完成后，打开命令行工具验证安装是否成功：
ollama --version
若显示版本号，说明安装成功。
Ollama 支持多种模型，针对中文任务推荐使用 Qwen 系列，通用能力推荐 Llama3 或 Mistral。
在命令行中输入以下命令拉取模型（以 Qwen 为例）：
ollama run qwen:7b
首次运行时会自动下载模型文件，请耐心等待下载完成。下载完成后将进入交互式对话模式。
常用管理命令如下：
ollama listollama rm <模型名>ollama cp <源> <目标>安装并拉取模型后，可直接在终端中进行对话。输入问题后按回车等待回复，输入 /bye 退出当前会话。
示例交互：
>>> 你好，请介绍一下你自己。
我是 Qwen，一个由阿里巴巴通义实验室研发的超大规模语言模型...
虽然命令行可用，但图形界面体验更佳。Chatbox 是一款支持 Ollama 的开源桌面客户端。
下载 Chatbox 安装包并安装。首次运行需进行基础配置。
Ollama 提供了标准的 OpenAI 兼容 API，可轻松集成到第三方应用或 Python 脚本中。
Ollama 默认在后台监听 http://localhost:11434，无需额外启动。
以下是一个简单的 Python 脚本，演示如何调用本地 Ollama 接口：
import requests
import json
def chat_with_ollama(prompt, model="qwen:7b"):
url = "http://localhost:11434/api/generate"
payload = {
"model": model,
"prompt": prompt,
"stream": False
}
try:
response = requests.post(url, json=payload)
if response.status_code == 200:
data = response.json()
return data.get("response", "")
else:
return f"Error: {response.status_code}"
except Exception as e:
return f"Connection Error: {str(e)}"
if __name__ == "__main__":
user_input = input("请输入问题：")
result = chat_with_ollama(user_input)
print(f"模型回答：\n{result}")
许多支持 OpenAI API 格式的软件（如某些视频翻译工具、笔记助手等）均可配置为使用本地 Ollama 地址 http://localhost:11434/v1 作为后端，从而实现本地化 AI 功能。
通过 Ollama 部署本地大模型，不仅能实现数据隐私保护，还能享受免费且灵活的 AI 能力。结合 Chatbox 图形界面和 API 接口，用户可以快速搭建属于自己的私有化 AI 助手。随着硬件性能的提升和模型优化，本地部署将成为越来越多开发者和爱好者的首选方案。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
将 HTML 片段转为 GitHub Flavored Markdown，支持标题、列表、链接、代码块与表格等；浏览器内处理，可链接预填。 在线工具，HTML转Markdown在线工具，online