本地部署开源语言大模型 Llama3 及中文微调版教程

原版 Llama3 对英文支持较好，针对中文场景，社区开发了基于增量预训练的微调版本（如 Chinese-LLaMA-Alpaca-3）。这些版本在中文指令遵循和语境理解上表现更佳。

下载模型文件

1. 访问 Hugging Face 仓库下载 GGUF 格式的量化模型文件。推荐使用 q8_0 版本，它在文件大小和模型性能之间取得了较好的平衡。
   • 仓库地址：https://huggingface.co/hfl/llama-3-chinese-8b-instruct-gguf/tree/main
2. 将下载的 .gguf 文件保存到本地文件夹，例如 Models。

创建 Modelfile

Ollama 允许通过 Modelfile 自定义模型配置。在文本编辑器中创建名为 Modelfile 的文件，内容如下：

FROM ./llama-3-chinese-8b-instruct-q8_0.gguf

TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>
{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>
{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>
{{ .Response }}<|eot_id|>"""

SYSTEM """
你是一个有用的中文助手。
"""

PARAMETER num_keep 24
PARAMETER stop <|start_header_id|>
PARAMETER stop <|end_header_id|>
PARAMETER stop <|eot_id|>
PARAMETER stop assistant
PARAMETER stop Assistant

注意：

• FROM 路径需根据实际存放位置修改，确保指向正确的 .gguf 文件。
• TEMPLATE 定义了模型对话的格式，必须与微调模型训练时的格式一致，否则可能导致输出异常。

构建并运行模型

在命令行中执行以下命令，将配置文件打包为新的模型实例：

ollama create llama3-zh-inst -f Modelfile

构建成功后，运行模型：

ollama run llama3-zh-inst

此时即可开始使用中文微调版进行对话。

在 LobeChat 中使用 Llama3

为了获得更好的图形化交互体验，可以接入 LobeChat。

1. 确保 Ollama 服务正在运行且端口可访问。
2. 访问 LobeChat 网页版或部署本地版本。
3. 在设置中选择'添加模型'，提供商选择'Ollama'。
4. 填入 API 地址（默认为 http://localhost:11434）。
5. 在模型列表中选择已创建的 llama3 或 llama3-zh-inst。

配置完成后，即可通过 Web 界面与本地模型进行流畅对话。

模型 API 调用示例

Ollama 提供了标准的 HTTP API，方便开发者集成到应用程序中。

请求示例（curl）：

curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt": "请解释什么是人工智能？",
  "stream": false
}'

Python 调用示例：

import requests

response = requests.post(
    'http://localhost:11434/api/generate',
    json={
        'model': 'llama3',
        'prompt': '请解释什么是人工智能？',
        'stream': False
    }
)
print(response.json()['response'])

常见问题与排查

1. 显存不足报错

如果运行时报错 out of memory，说明当前模型量化级别过高或显存不足。尝试下载更低量化的版本（如 q4_K_M），该版本通常只需 6GB 左右显存。

2. 无法跨域访问

若前端页面无法连接本地 Ollama，请检查 OLLAMA_ORIGINS 环境变量是否设置为 *，并确保 Ollama 服务已重启。

3. 中文乱码

确保终端编码设置为 UTF-8。在 Windows 上可在 CMD 中输入 chcp 65001 切换编码。

4. 模型加载慢

GGUF 模型加载速度受磁盘 I/O 影响较大。建议使用 SSD 存储模型文件，避免机械硬盘导致加载缓慢。

总结

本文详细介绍了如何在本地环境中部署 Llama3 及其中文微调版本。通过 Ollama 工具，用户可以轻松实现模型的离线运行、自定义配置及 API 集成。结合 LobeChat 等界面工具，能够显著提升使用体验。对于关注数据隐私、希望低成本体验大模型能力的开发者而言，本地部署是理想的解决方案。