离线 Linux 服务器部署 Ollama 并运行 Qwen 大模型教程

启用并启动服务：

sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama

验证服务状态：

systemctl status ollama

4. 准备 Qwen2.5 模型

Ollama 原生支持部分模型，但对于特定版本的 Qwen2.5，可能需要手动转换格式。我们采用 ModelScope 或 Hugging Face 获取权重，并使用 llama.cpp 工具转换为 GGUF 格式。

4.1 下载模型权重

推荐使用 Git LFS 克隆仓库：

# 安装 Git LFS
sudo apt-get install git-lfs
sudo git lfs install

# 克隆 Qwen2.5-1.5B-Instruct 模型
mkdir qwen_models && cd qwen_models
git clone https://www.modelscope.cn/Qwen/Qwen2.5-1.5B-Instruct.git
cd Qwen2.5-1.5B-Instruct

*注意：ModelScope 在国内访问较快，Hugging Face 可能需要代理。

4.2 转换模型格式

Ollama 使用 GGUF 格式存储模型。我们需要利用 Ollama 源码中的 llama.cpp 子模块进行转换。

4.2.1 获取转换工具

# 克隆 Ollama 主仓库（仅用于获取转换脚本）
git clone https://github.com/ollama/ollama.git
ollama_dir=$(pwd)/ollama
cd $ollama_dir

# 初始化子模块
git submodule init
git submodule update llm/llama.cpp

# 设置 Python 虚拟环境
python3 -m venv llm/llama.cpp/.venv
source llm/llama.cpp/.venv/bin/activate
pip install -r llm/llama.cpp/requirements.txt

4.2.2 执行转换

进入模型目录，执行转换脚本：

# 假设模型文件位于 ./Qwen2.5-1.5B-Instruct/model.safetensors
python llm/llama.cpp/convert_hf_to_gguf.py \
    --outfile converted.bin \
    --outtype f16 \
    ./Qwen2.5-1.5B-Instruct

生成的 converted.bin 即为 GGUF 格式的模型文件。

5. 编写 Modelfile 并导入

Modelfile 是定义模型行为、提示词模板和系统指令的配置文件。

5.1 创建 Modelfile

新建一个名为 Modelfile 的文件（无后缀），内容如下：

FROM converted.bin

TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
"""

SYSTEM """
你是一个乐于助人的助手，但你会用 20 世纪 30 年代黑手党暴徒的风格去回答问题
"""

PARAMETER temperature 0.7
PARAMETER top_p 0.9

*说明：TEMPLATE 定义了对话的输入输出格式，SYSTEM 设定了角色设定，PARAMETER 调整生成参数。

5.2 导入模型

将 converted.bin 和 Modelfile 放在同一目录下，执行导入命令：

ollama create Qwen2.5-Mafia -f Modelfile

导入成功后，可通过以下命令验证：

ollama list
ollama show Qwen2.5-Mafia

6. 运行与交互

6.1 命令行交互

直接在终端运行模型：

ollama run Qwen2.5-Mafia

输入问题后，模型将基于设定的风格返回回答。按 Ctrl+C 退出会话。

6.2 API 调用

Ollama 默认提供 HTTP API，可通过 curl 调用：

curl http://localhost:11434/api/generate -d '{
  "model": "Qwen2.5-Mafia",
  "prompt": "你好，你是谁？",
  "stream": false
}'

6.3 查看运行状态

# 查看正在运行的进程
ollama ps

7. 高级优化与故障排查

7.1 量化压缩

为了节省显存和磁盘空间，可使用 llama.cpp 对模型进行量化（如 Q4_K_M）。这会在精度损失极小的情况下大幅减小模型体积。

python llm/llama.cpp/quantize.py converted.bin Q4_K_M.gguf

随后在 Modelfile 中引用新的 .gguf 文件即可。

7.2 常见问题

• Permission Denied：确保用户有权限访问 /usr/local/bin/ollama 及模型文件。
• Out of Memory：若运行时报错 OOM，尝试降低模型精度（如 f16 转 q4_k_m）或减少并发请求。
• Connection Refused：检查 ollama serve 是否正常运行，确认防火墙未拦截 11434 端口。

7.3 安全建议

在生产环境中部署时，建议绑定特定 IP 而非 0.0.0.0，并配置反向代理（如 Nginx）添加认证机制，防止未授权访问。

8. 结语

通过上述步骤，您可以在离线 Linux 服务器上成功部署 Ollama 并运行自定义配置的 Qwen2.5 模型。此方案适用于对数据隐私要求高、网络环境受限的开发与测试场景。随着社区发展，更多模型格式和优化工具将被集成，建议持续关注 Ollama 官方文档以获取最新特性。