使用 Ollama 本地部署 LLaMA 大模型

FROM "E:\Models\llama3.1_8b_chinese_chat_f16.gguf"
TEMPLATE """{{- if .System }}<|im_start|>system {{ .System }}<|im_end|>{{- end }}<|im_start|>user{{ .Prompt }}<|im_end|><|im_start|>assistant"""
SYSTEM """"
PARAMETER stop <|im_start|>
PARAMETER stop <|im_end|>

配置说明：

• FROM: 指定本地 GGUF 模型文件的绝对路径。
• TEMPLATE: 定义对话的输入输出模板，需匹配模型训练时的格式。
• PARAMETER: 设置停止符，防止模型生成异常字符。

4.3 导入模型

在命令行中使用 ollama create 命令将模型注册到 Ollama 服务中：

ollama create llama3-cn -f ./Modelfile

执行成功后，可以使用 list 命令查看已注册的模型：

ollama list

输出示例：

NAME              ID            SIZE    MODIFIED
llama3-cn:latest  f3fa01629cab  6.6 GB  2 minutes ago

5. 运行与交互

5.1 命令行交互

直接使用 run 命令启动模型进行对话：

ollama run llama3-cn

进入交互模式后，输入问题即可得到回答。输入 /exit 退出当前会话。

5.2 API 调用

Ollama 默认监听 localhost:11434 端口，提供 HTTP API 接口。您可以使用 curl 进行测试：

curl -X POST http://localhost:11434/api/generate -d '{
  "model": "llama3-cn",
  "prompt": "你好，请介绍一下你自己。"
}'

5.3 Python 集成示例

对于开发者，可以通过 Python 脚本调用 API 进行集成开发：

import requests
import json

url = "http://localhost:11434/api/generate"
data = {
    "model": "llama3-cn",
    "prompt": "请写一段 Python 代码打印 Hello World",
    "stream": False
}

response = requests.post(url, json=data)
if response.status_code == 200:
    result = response.json()
    print(result["response"])
else:
    print(f"Error: {response.status_code}")

6. 搭建 Web 界面

虽然命令行可用，但为了获得更好的用户体验，可以搭建 Web UI。推荐使用 NextChat 客户端。

1. 下载 NextChat 客户端或源码。
2. 启动应用后，进入设置页面。
3. 在模型服务商中选择自定义或 OpenAI 兼容模式。
4. 将 API 地址修改为 http://localhost:11434。
5. 将模型名称设置为刚才导入的 llama3-cn。
6. 保存配置后即可在浏览器中通过图形界面与大模型交互。

7. 常见问题排查

7.1 显存不足

如果运行过程中出现 OOM (Out Of Memory) 错误，说明模型过大超过了硬件限制。建议尝试以下方案：

• 更换参数量更小的模型（如从 13B 降至 7B）。
• 使用量化程度更高的 GGUF 文件（如 q4_k_m 或 q3_k_s）。
• 增加物理内存或关闭其他占用内存的程序。

7.2 网络问题

下载模型时若遇到连接超时，请检查网络代理设置。HuggingFace 等国内访问受限的网站建议使用镜像源或科学上网工具。

7.3 权限问题

在 Linux 或 macOS 上，如果提示权限拒绝，请确保对模型文件所在目录有读取权限，或使用 sudo 运行相关命令。

8. 总结

通过上述步骤，您已成功在本地环境中部署并运行了 LLaMA 大语言模型。这种方式不仅保护了数据隐私，还避免了云端调用的费用。结合 Web 界面和 API 调用，您可以将其灵活应用于各种自动化任务或辅助编程场景中。未来，随着硬件性能的提升和模型优化技术的进步，本地部署的体验将更加流畅高效。