Ollama 本地大语言模型安装与部署指南

进入 Ollama 的模型图书馆找找模型：https://ollama.com/library

推荐如下模型：

• Qwen2：通义千问 2 大模型，对中文的支持能力非常不错，是通用型中文开源模型中做的相当好的。配置一般的电脑推荐使用 1.5B 模型（CPU 跑），7B 模型（独立显卡较好）。至于更大的 72B 模型如果显卡能力不佳不建议尝试。
• deepseek-coder-v2：如果你是程序员，那么 deepseekV2 一定是非常适合你的。deepseekV2 用的 MoE 架构，反应速度不错，支持多种编程语言，可以理解为一个非常好的编程助手模型。
• Phi3：微软的小模型，运行速度非常快，对空间占用很小，运行效果尚可，满足机器硬件不足的电脑本地跑模型。不过对于 Phi3 的中模型，我们可以收回以上的话，不过主语料是英文，所以中文能力一般。
• Llama3.1：目前最新的 Llama 模型，推荐使用 8b 模型，或者 8b 对应的量化模型（速度可以很快）。如果你的常用语言是中文，llama3.1 可能并不是最适合你的。
• Command-R 和 Command-R-Plus：Command-r 系列是大模型，模型非常规整，非常适合作为企业大模型使用。但是模型比较大，尤其是 command-r+，104b 的体量不是一般普通显卡能消受的，对硬件要求比较高。
• Llava：一个非常推荐的多模态大模型，可以识别图片并进行输出，但是对中文支持很差，所以推荐使用 llava 的变体 llava-llama3，对语言支持性更好。
• BGE-Large 和 BGE-M3：一个 embeddings 知识库压缩模型，并不是用于输出文字的，而是用于知识库压缩的，尤其是对中文文本支持能力较好，属于特殊的大模型。bge-m3 是 bge 最新的模型。

3.3 模型下载与运行

对于喜欢的大模型，选择对应的大模型，右边会自动出现运行的命令，点击右边的复制按钮，这里以 llama3.1 模型为例。

然后在黑色窗口中点右键复制到运行栏中并回车：

ollama run llama3.1

等待下载完成，有进度条，这个时间视网速而定。下载完成后会自动运行（已经下载的将会直接运行）。这里可以直接输入问题并回车，即可得到答案。

4. 高级用法：API 调用

Ollama 提供了 REST API，方便开发者集成到自己的应用中。

4.1 HTTP 请求示例

默认监听端口为 11434。可以使用 curl 进行简单测试：

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.1",
  "prompt": "为什么天空是蓝色的？",
  "stream": false
}'

4.2 Python SDK 集成

可以通过 Python 的 requests 库调用 Ollama API。

import requests
import json

def chat_with_ollama(prompt, model="llama3.1"):
    url = "http://localhost:11434/api/chat"
    payload = {
        "model": model,
        "messages": [
            {"role": "user", "content": prompt}
        ],
        "stream": False
    }
    
    response = requests.post(url, json=payload)
    if response.status_code == 200:
        return response.json()['message']['content']
    else:
        return f"Error: {response.status_code}"

if __name__ == "__main__":
    user_input = "请解释什么是神经网络。"
    result = chat_with_ollama(user_input)
    print(result)

4.3 异步流式响应

如果需要流式输出（打字机效果），可以将 stream 设置为 true 并逐行读取响应。

import requests

def stream_chat(prompt):
    url = "http://localhost:11434/api/chat"
    payload = {
        "model": "llama3.1",
        "messages": [{"role": "user", "content": prompt}],
        "stream": True
    }
    with requests.post(url, json=payload, stream=True) as r:
        for line in r.iter_lines():
            if line:
                data = json.loads(line)
                if 'message' in data and 'content' in data['message']:
                    print(data['message']['content'], end='', flush=True)

stream_chat("写一首关于春天的诗。")

5. 高级用法：Docker 部署

如果你希望在服务器或其他环境中部署 Ollama，可以使用 Docker。

5.1 拉取镜像

docker pull ollama/ollama

5.2 启动容器

将模型目录挂载到宿主机，以便持久化存储。

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

5.3 验证 Docker 部署

访问 http://<服务器 IP>:11434 确认服务可用。

6. 结语

至此 Ollama 已经成功部署到你的电脑本地了。在后面的过程中将会介绍以 Ollama 作为核心展开个人知识库的建设。

由于开源大模型在持续更新，对语言大模型的需要用户根据自己的业务场景和需求进行判断。掌握本地大模型部署技术，能够让你更灵活地控制数据隐私，降低 API 成本，并为后续的 AI 应用开发打下坚实基础。