LLaMAFactory 与 ModelScope 大模型部署及 GGUF 转换实战

3.1.3 以服务的模式加载大模型（Server 模式）

llama-server -m /mnt/workspace/LLaMA-Factory/saves/qwen3_sft_merged/Qwen3-4B-Instruct_q8_0.gguf --port 8080

Basic web UI can be accessed via browser: http://localhost:8080 Chat completion endpoint: http://localhost:8080/v1/chat/completions 访问 http://localhost:8080。

3.2 基于 ollama

# 进入合并后的模型目录
cd /mnt/workspace/LLaMA-Factory/saves/qwen3_sft_merged
# 创建模型
ollama create my-qwen3-4b-sft-merged -f Modelfile
# 启动模型
ollama run my-qwen3-4b-sft-merged

启动时可能报错，这是因为使用的 Qwen3 模型，Ollama 尚未完全支持，建议使用 llama.cpp 方式测试部署。

四、将模型上传至 ModelScope

4.1 获取 Token

访问：https://www.modelscope.cn/my/access/token

4.2 获取用户名

访问：https://www.modelscope.cn/my/settings/account

4.3 上传模型

# 上传 gguf 版本
modelscope upload <你的用户名>/qwen3-4b-sft-merged-gguf /mnt/workspace/LLaMA-Factory/saves/qwen3_sft_merged --token <你的 token>

4.4 查看上传结果

访问：https://www.modelscope.cn/my/myspace

4.5 下载上传之后的模型

# 安装 modelscope
pip install modelscope
# 下载模型
modelscope download --model <你的用户名>/qwen3-4b-sft-merged-gguf

以 Windows 下载为例，模型最终下载保存在 C:\Users\PC\.cache\modelscope\hub\models\<你的用户名>\qwen3-4b-sft-merged-gguf\Qwen3-4B-Instruct_q8_0.gguf。

五、结语

本文完整呈现了微调后大模型从格式转换到实际部署的全流程实践，通过 llama.cpp 实现 HF 模型到 GGUF 格式的转换，借助 llama.cpp 完成 CLI 与 Server 模式部署，并记录了 Ollama 部署 Qwen3 模型时的兼容问题，同时演示了 GGUF 模型在 ModelScope 平台的上传与下载流程。 整套方案以 llama.cpp 工具链为核心，步骤清晰、可直接复现，为轻量化大模型的本地部署与模型分享提供了一套实用的工程化参考，也为后续同类模型的落地与优化奠定了基础。