Ollama 本地大语言模型的下载安装、环境配置及模型管理方法。内容涵盖 Windows/Linux/MacOS 系统的安装步骤、环境变量设置、常用模型推荐（如 Qwen2、Llama3.1、DeepSeek-Coder 等）、CLI 交互方式以及通过 HTTP 和 Python SDK 调用 API 的高级用法。此外，还补充了 Docker 部署方案，帮助用户实现跨平台和服务端部署，适用于希望构建本地 AI 工作流、知识库或私有化大模型应用的开发者。
为了给以后的工作流和本地模型铺路，有必要说一下 Ollama 本地大语言后台的安装。
在安装之前，有必要先说明一下 Ollama 是什么。
Ollama 是一个大语言模型的服务后台，能够在零基础的前提下帮助用户轻松部署大语言模型。
优点：
缺点：
从多种角度来说，Ollama 是目前最为快速、最方便的本地化大语言模型后台。
在下载前需要注意：
Ollama 下载地址为：https://ollama.com
打开页面后出现官网，点击 Download 下载对应系统的安装包。
下载完毕后双击一路下一步即可运行。
如果安装成功，Ollama 会出现在右下角任务栏图标中。打开浏览器，并输入 http://127.0.0.1:11434 或 http://localhost:11434。如果显示出一行小字则代表 Ollama 服务运行成功。
如果不想你的 C 盘因为下载大模型（很多都是几 G 到十几 G 甚至几十 G）被占用太多空间，那么可以做如下设置，如果无所谓可忽略本条操作。
OLLAMA_MODELSE:\Github code\OLLAMAMODEL）至于 OLLAMA_HOST 这个变量，在某种程度上对于 Docker 部署前台是不利的，所以不建议设置。
提前说明：如果上述操作成功，但以下操作未成功，需要重启一下电脑。
对电脑的 windows 按钮点右键，选择终端管理员/终端，当然 win+r 输入 cmd 启动命令提示符亦可，但是建议使用管理员权限。
在打开的黑色窗口中输入 ollama，然后回车，如果出现帮助信息则表示服务正常。
进入 Ollama 的模型图书馆找找模型：https://ollama.com/library
推荐如下模型：
对于喜欢的大模型，选择对应的大模型，右边会自动出现运行的命令，点击右边的复制按钮，这里以 llama3.1 模型为例。
然后在黑色窗口中点右键复制到运行栏中并回车：
ollama run llama3.1
等待下载完成，有进度条，这个时间视网速而定。下载完成后会自动运行（已经下载的将会直接运行）。这里可以直接输入问题并回车，即可得到答案。
Ollama 提供了 REST API，方便开发者集成到自己的应用中。
默认监听端口为 11434。可以使用 curl 进行简单测试：
curl http://localhost:11434/api/generate -d '{
"model": "llama3.1",
"prompt": "为什么天空是蓝色的？",
"stream": false
}'
可以通过 Python 的 requests 库调用 Ollama API。
import requests
import json
def chat_with_ollama(prompt, model="llama3.1"):
url = "http://localhost:11434/api/chat"
payload = {
"model": model,
"messages": [
{"role": "user", "content": prompt}
],
"stream": False
}
response = requests.post(url, json=payload)
if response.status_code == 200:
return response.json()['message']['content']
else:
return f"Error: {response.status_code}"
if __name__ == "__main__":
user_input = "请解释什么是神经网络。"
result = chat_with_ollama(user_input)
print(result)
如果需要流式输出（打字机效果），可以将 stream 设置为 true 并逐行读取响应。
import requests
def stream_chat(prompt):
url = "http://localhost:11434/api/chat"
payload = {
"model": "llama3.1",
"messages": [{"role": "user", "content": prompt}],
"stream": True
}
with requests.post(url, json=payload, stream=True) as r:
for line in r.iter_lines():
if line:
data = json.loads(line)
if 'message' in data and 'content' in data['message']:
print(data['message']['content'], end='', flush=True)
stream_chat("写一首关于春天的诗。")
如果你希望在服务器或其他环境中部署 Ollama，可以使用 Docker。
docker pull ollama/ollama
将模型目录挂载到宿主机，以便持久化存储。
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
访问 http://<服务器 IP>:11434 确认服务可用。
至此 Ollama 已经成功部署到你的电脑本地了。在后面的过程中将会介绍以 Ollama 作为核心展开个人知识库的建设。
由于开源大模型在持续更新，对语言大模型的需要用户根据自己的业务场景和需求进行判断。掌握本地大模型部署技术，能够让你更灵活地控制数据隐私，降低 API 成本，并为后续的 AI 应用开发打下坚实基础。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online