本文介绍了如何在个人电脑上通过 Ollama 部署支持中文的 Llama 3.1 模型。步骤包括安装 Ollama 环境、从 HuggingFace 下载量化模型文件、编写 Modelfile 配置文件导入模型，以及通过命令行和 HTTP API 进行测试。内容涵盖 macOS、Windows 及 Linux 系统的安装差异，并提供了 Python 调用示例及参数调优建议，旨在帮助用户快速实现本地化大语言模型应用。
Meta 公司最近发布了 Llama 3.1，但在原生中文处理方面表现仍有提升空间。幸运的是，社区已经推出了经过微调、支持中文的 Llama 3.1 版本（如 shenzhi-wang/Llama3.1-8B-Chinese-Chat）。本文将详细介绍如何在个人电脑上通过 Ollama 工具安装并运行该模型，实现流畅的中文 AI 体验。
在开始之前，请确保您的计算机满足以下基本要求：
Ollama 是一个强大的机器学习模型管理工具，能够帮助我们快速安装和管理各种大语言模型。以下是不同操作系统的安装步骤。
访问官网下载页面获取安装包：https://ollama.com/download/Ollama-darwin.zip
双击下载的 .zip 文件并拖拽至应用程序文件夹，然后在终端中验证安装：
$ ollama -v
ollama version is 0.2.1
访问官网下载页面获取安装程序：https://ollama.com/download/OllamaSetup.exe
运行安装向导完成安装后，打开 PowerShell 或 CMD 输入以下命令检测版本：
ollama -v
Linux 用户可通过终端脚本一键安装：
curl -fsSL https://ollama.com/install.sh | sh
安装完成后，检查服务状态：
systemctl status ollama
Ollama 默认支持从官方库拉取模型，但为了使用特定的中文微调版本，我们需要先下载 GGUF 格式的模型文件，然后创建自定义配置文件进行导入。
前往 Hugging Face 找到 shenzhi-wang/Llama3.1-8B-Chinese-Chat 仓库。在下载页面选择量化版本（推荐 Q4_K_M.gguf 或 Q8_0.gguf），根据显存大小选择合适的精度。
将下载的文件重命名为易于识别的名称，例如 llama3.1_8b_chinese_chat_q4.gguf。
下载到本地的模型文件不能直接通过 ollama run 调用，需要编写一个配置文件（通常命名为 Modelfile 或任意名称）来定义模型参数和提示词模板。
创建一个名为 config.txt 的文件，内容如下：
FROM "./llama3.1_8b_chinese_chat_q4.gguf"
TEMPLATE """{{- if .System }}
<|im_start|>system {{ .System }}<|im_end|>
{{- end }}
<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
"""
SYSTEM """""
PARAMETER stop <|im_start|>
PARAMETER stop <|im_end|>
PARAMETER temperature 0.7
PARAMETER top_p 0.9
配置说明：
FROM: 指定本地模型文件的绝对路径或相对路径。TEMPLATE: 定义对话格式，确保符合 Llama 3 的指令遵循规范。PARAMETER: 设置停止符、温度值（控制随机性）和 Top-P 采样阈值。请确保第一行中的模型文件路径已根据您的实际存放位置进行修改。
在包含 config.txt 的目录下，运行以下命令将模型注册到 Ollama：
ollama create llama3-zh -f ./config.txt
执行成功后，可以使用 list 命令查看已安装的模型列表：
$ ollama list
NAME ID SIZE MODIFIED
llama3-zh abc123... 4.7 GB 2 分钟前
模型安装完成后，可以通过命令行启动交互，也可以通过 HTTP API 集成到应用中。
使用以下命令启动模型对话：
ollama run llama3-zh
进入交互模式后，输入中文问题即可获取回答。例如：
User: 如何处理职场冲突？
Assistant: 在职场中处理冲突是一项重要的技能。以下是一些可能有助于你解决冲突的策略...
Ollama 默认监听 localhost:11434 端口。您可以使用 curl 命令进行测试：
curl -L 'http://localhost:11434/api/generate' \
-H 'Content-Type: application/json' \
-d '{
"model": "llama3-zh",
"prompt": "如何处理职场冲突",
"stream": false
}'
返回结果中包含生成的文本内容。若需结构化数据，可添加 "format": "json" 参数。
对于开发者，推荐使用 Python 的 requests 库进行集成：
import requests
import json
def chat_with_llama(prompt):
url = "http://localhost:11434/api/generate"
data = {
"model": "llama3-zh",
"prompt": prompt,
"stream": False
}
response = requests.post(url, json=data)
if response.status_code == 200:
result = response.json()
return result.get("response", "")
else:
return f"Error: {response.status_code}"
if __name__ == "__main__":
question = "解释一下什么是神经网络？"
answer = chat_with_llama(question)
print(answer)
如果运行过程中出现 OOM (Out Of Memory) 错误，请尝试下载更低精度的量化版本（如 Q3_K_S），或关闭其他占用内存的应用程序。
context_length 参数（默认为 2048，可根据需求调整）。TEMPLATE 部分是否正确包含了 <|im_start|> 等特殊 token。temperature 参数（如设为 0.5）以提高确定性。通过 Ollama 在个人电脑上快速安装运行 shenzhi-wang 的 Llama3.1-8B-Chinese-Chat 模型，不仅简化了安装过程，还能快速体验到这一强大的开源中文大语言模型的卓越性能。本文涵盖了从环境搭建、模型导入到 API 调用的完整流程，希望能为在个人电脑使用大模型提供实用的参考。
如果您在安装或使用过程中遇到任何问题，建议查阅 Ollama 官方文档或相关技术社区获取最新支持信息。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online