使用 Ollama 本地部署 Llama 3.1 大模型指南

4.1 配置环境变量

Windows 下修改环境变量的步骤如下：

1. 右键点击'此电脑' > '属性' > '高级系统设置' > '环境变量'。

2. 在'用户变量'中新建以下变量：

   • OLLAMA_HOST: 值设为 0.0.0.0:8888（监听所有 IP 和端口）。
   • OLLAMA_ORIGINS: 值设为 *（允许跨域访问，生产环境建议指定域名）。
   • OLLAMA_MODELS: 值设为数据盘路径（如 D:\OllamaModels），避免占用系统盘。

3. 重启 Ollama 服务使配置生效。

4.2 防火墙设置

如果需要在公网访问，请确保服务器安全组或防火墙放行了配置的端口（如 8888）。

5. API 调用示例

开启远程连接后，您可以通过 HTTP API 与大模型交互。

5.1 使用 Curl 测试

curl http://localhost:8888/api/generate -d '{
  "model": "llama3.1:8b",
  "prompt": "你好啊"
}'

5.2 使用 Python 调用

推荐使用 requests 库进行流式输出调用，代码示例如下：

import requests
import json

url = "http://localhost:8888/api/generate"
data = {
    "model": "llama3.1:8b",
    "prompt": "请简述人工智能的发展历史",
    "stream": True
}

with requests.post(url, json=data, stream=True) as response:
    for line in response.iter_lines():
        if line:
            buffer = b""
            try:
                # 处理 JSON 流
                chunk = json.loads(line)
                print(chunk.get("response", ""), end="", flush=True)
            except Exception:
                pass

6. Web UI 集成

虽然命令行可用，但可视化的 WebUI 能提供更好的交互体验。

6.1 Open WebUI

Open WebUI 是一个功能丰富的开源界面，支持对话、知识库等功能。

安装方式：

1. Docker 安装（推荐）：

   docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main
   

2. Pip 安装： 需确保 Python 版本不为 3.12，建议使用 3.11。

   pip install open-webui
   

配置步骤：

1. 访问 WebUI 页面注册账号。
2. 进入设置，添加 Ollama 服务器地址（如 http://your-server-ip:8888）。
3. 同步模型列表后即可开始对话。

6.2 LobeChat

LobeChat 支持多模态和大模型管理。

1. 参考官方文档自行搭建。
2. 在设置中选择语言模型，找到 Ollama 选项。
3. 开启连通性检查，获取模型列表。
4. 选择 llama3.1:8b 开始聊天。

7. 常见问题与优化

7.1 显存不足 (OOM)

如果遇到 Out Of Memory 错误，请尝试以下方法：

• 使用量化版本模型（如 llama3.1:8b-q4_0）。
• 减少并发请求数量。
• 关闭不必要的后台进程释放内存。

7.2 响应速度慢

• 检查网络带宽，尤其是远程调用时。
• 调整 num_gpu 参数，将更多层数加载到 GPU。
• 考虑更换更高性能的 GPU 硬件。

7.3 模型更新

如需更新模型版本，可使用以下命令：

ollama pull llama3.1:8b
ollama rm llama3.1:8b
ollama run llama3.1:8b

8. 总结

通过 Ollama，开发者可以非常便捷地在本地或私有云环境中部署 Llama 3.1 等大模型。这不仅降低了使用门槛，还保障了数据隐私。结合 Open WebUI 等工具，可以快速构建企业级 AI 应用。建议根据实际硬件资源选择合适的模型版本，并合理配置网络与安全策略。

注：本文档旨在提供技术部署指导，具体硬件选型请参考官方推荐配置。