Ubuntu 25.04 私有大模型部署实战
前置环境准备
推荐使用 Ubuntu 25.04 Server 版(最小化安装),配置要求:
- CPU:4 核及以上(建议 Intel i7+/Ryzen 5+)
- 内存:32GB 以上(运行 32B 模型需要)
- 显卡:NVIDIA RTX 3060 12GB+(显存越大越好)
- 存储:至少 100GB SSD 空间
系统优化建议:
# 禁用自动更新降低系统中断几率
sudo sed -i 's/Update-Package-Lists "1"/Update-Package-Lists "0"/g' /etc/apt/apt.conf.d/10periodic
# 调整 Swappiness 提升内存使用效率
echo "vm.swappiness=10" | sudo tee /etc/sysctl.d/99-swappiness.conf
sudo sysctl -p
一、核心组件安装
1. Ollama 服务部署
Ollama 是本地大模型运行引擎,支持多种开源模型:
# 添加 Ollama 官方源
curl -fsSL https://ollama.com/install.sh | sh
# 创建专用系统用户(提高安全性)
sudo useradd -r -s /bin/false -m -d /opt/ollama ollama
服务配置文件 (/etc/systemd/system/ollama.service) 是关键,下面是优化后的版本:
[Unit]
Description=Ollama Service
After=network-online.target
Requires=network-online.target
[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=on-failure
RestartSec=30s
StartLimitIntervalSec=60
StartLimitBurst=5
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/opt/cuda/bin"
=
=
=
=
=
=
=G
=G
=%
=multi-user.target


