Ubuntu 24.04 离线安装 Ollama 及导入模型教程

sudo tar -C /usr -xzf ollama-linux-amd64.tgz

验证是否安装成功：

/usr/bin/ollama -v
# 正常输出类似：
# ollama version is 0.11.4

此时你已经可以运行 ollama 命令，但建议配置为系统服务以便后台运行和开机自启。

步骤 5：创建 Ollama 用户和用户组

为安全起见，Ollama 应以专用用户身份运行，避免使用 root。

# 创建 ollama 用户和组
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
# 将当前用户加入 ollama 组（便于后续调用）
sudo usermod -a -G ollama $(whoami)

📌 说明： -r：创建系统用户 -s /bin/false：禁止登录 -U -m -d /usr/share/ollama：创建同名组并设置家目录

步骤 6：配置 systemd 服务

创建服务文件：

sudo nano /etc/systemd/system/ollama.service

粘贴以下内容：

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=default.target

✅ 关键参数说明： ExecStart：启动命令 User/Group：以 ollama 用户运行 Restart=always：崩溃后自动重启 After=network-online.target：确保网络就绪后再启动

步骤 7：启动并启用 Ollama 服务

# 重载 systemd 配置
sudo systemctl daemon-reload
# 启用开机自启
sudo systemctl enable ollama
# 启动服务
sudo systemctl start ollama
# 查看服务状态
sudo systemctl status ollama

正常输出应包含：

● ollama.service - Ollama Service
Loaded: loaded (/etc/systemd/system/ollama.service; enabled; vendor preset: enabled)
Active: active (running) since ...

步骤 8：验证 Ollama 是否正常运行

# 查看日志
sudo journalctl -u ollama -f

如果看到 ollama serve 启动成功日志，说明安装完成。

四、常见问题与解决方案

Q1：systemctl start ollama 失败，提示权限错误？

• 检查：/usr/bin/ollama 是否有执行权限
• 修复：

  sudo chmod a+x /usr/bin/ollama
  

Q2：日志中出现 cannot create directory /usr/share/ollama/.ollama？

• 原因：ollama 用户家目录权限问题
• 修复：

  sudo chown -R ollama:ollama /usr/share/ollama
  sudo chmod 755 /usr/share/ollama
  

Q3：离线环境如何下载模型？

• 可在有网机器使用 ollama pull model-name 下载模型。
• 导出模型的 modelfile 文件。

通过离线介质把模型和 modelfile 文件传输到 ubuntu 服务器同一个目录下后，使用命令把文件重命名为 gemma3-12b.gguf：

mv sha256-e8ad13eff07a78d89926e9e8b882317d082ef5bf9768ad7b50fcdbbcd63748de gemma3-12b.gguf

查看导出的 modelfile 文件，里面有示例 gemma3:12b 模型的路径和文件名称。

如笔者在个人 windows 主机下载模型后，使用下面命令：

ollama show gemma3:12b --modelfile >> modelfile

然后使用命令 ollama create gemma3:12b -f modelfile 导入模型。

因为 windows 导出的 modelfile 文件中的路径是与 Linux 有区别，需要修改一下。

五、总结

本文提供了一套完整的 Ubuntu 24.04 离线安装 Ollama 和导入模型的解决方案，核心要点如下：

✅ 绕过官方在线脚本限制，实现离线部署 ✅ 使用迅雷加速下载，解决国内网络慢问题 ✅ Windows 与 Linux 的模型，两个系统下载的模型是可以互相导入的

该方法适用于所有无法联网的 Linux 服务器环境，特别适合企业内网、科研实验室、边缘计算等场景。

六、后续建议

• 配置防火墙开放 11434 端口（Ollama API 端口），便于远程调用。
• 使用 nginx 反向代理 + HTTPS 提升安全性。
• 探索 Ollama + Open WebUI 搭建本地 AI 助手界面。

参考链接

• Ollama 官网
• Ollama GitHub 仓库