本地部署 Llama3-8B 大模型实战指南

四、部署 Ollama 服务

1. 安装 Ollama

建议手动安装以获得更多控制权。

# 下载二进制文件
sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama

# 添加执行权限
sudo chmod +x /usr/bin/ollama

# 创建系统用户
sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama

2. 配置 Systemd 服务

创建配置文件 /etc/systemd/system/ollama.service：

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3

# 监听端口
Environment="OLLAMA_HOST=0.0.0.0:11434"
# 模型下载位置（需确保 ollama 用户有写入权限）
Environment="OLLAMA_MODELS=/home/user/ollama/models"
# 单模型并发数量
Environment="OLLAMA_NUM_PARALLEL=100"
# GPU 选择（如有多卡可指定，如 0,1）
Environment="CUDA_VISIBLE_DEVICES=0"
# 最大加载模型数
Environment="OLLAMA_MAX_LOADED_MODELS=3"

[Install]
WantedBy=default.target

启动并检查服务：

sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama
journalctl -u ollama -f

若遇到权限错误，请确认目录归属：

sudo chown -R ollama:ollama /home/user/ollama

五、运行与测试 Llama3-8B

1. 拉取模型

ollama pull llama3:8b

2. 本地运行

ollama run llama3:8b

3. API 调用测试

Ollama 默认提供 HTTP API，可通过 curl 或 Python 脚本进行测试。

Curl 示例：

curl http://localhost:11434/api/generate -d '{
  "model": "llama3:8b",
  "prompt": "你好，请介绍一下你自己。",
  "stream": false
}'

Python 示例：

import requests

response = requests.post(
    'http://localhost:11434/api/generate',
    json={
        'model': 'llama3:8b',
        'prompt': '请简述人工智能的发展趋势。',
        'stream': False
    }
)
print(response.json()['response'])

六、进阶：量化与微调

文中提到的其他工具在特定场景下可配合使用：

• Llama.cpp：适用于资源受限环境，可将模型量化为 GGUF 格式，降低显存占用。
• Unsloth：适用于需要微调的场景，支持 LoRA 等高效微调方法，保护数据隐私的同时提升模型精度。

七、总结

通过上述步骤，您可以在本地 Ubuntu 环境下成功部署 Llama3-8B 大模型。本地化部署不仅保障了数据安全性，还降低了长期运营成本。对于垂直领域应用，结合 Unsloth 进行微调可进一步提升业务适配度。