Qwen3.5 系列开源大模型本地部署全流程（ModelScope）

GGUF 是一种专为大型语言模型（LLM）设计的二进制文件格式，全称是 GPT-Generated Unified Format（GPT 生成统一格式）。可以理解为一个经过高度优化和打包的模型'压缩包'，其核心目标就是让庞大的 AI 模型能在普通电脑上更快地加载和运行。

推荐文件：

• Qwen3.5-0.8B-Q4_K_M.gguf：平衡性最好，质量与大小的黄金比例；适用于日常对话、文本生成，兼顾速度和效果；
• Qwen3.5-0.8B-Q3_K_S.gguf：文件最小，运行最快，但质量略有下降；
• Qwen3.5-0.8B-Q5_K_M.gguf：质量更好，接近原始模型，但文件稍大，占用内存更多；

不建议使用的文件：

• mmproj-*.gguf：这些是多模态投影文件，纯文本模型不需要；
• Qwen3.5-0.8B-BF16.gguf：这是未量化的完整模型，约 1.4GB，内存占用太大；
• Qwen3.5-0.8B-Q8_0.gguf：质量提升有限但体积大很多；

文件名含义：

• Q4/Q5/Q8：量化位数，越高质量越好但文件越大；
• K_M/K_S：K 表示 K-quants 量化方法，M 是中等质量，S 是小体积；
• IQ：改进型量化，压缩率更高；

2. Ollama

Ollama 是一个开源、轻量级的工具，可以让你在个人电脑上轻松运行大型语言模型（如 Llama 3、Qwen 等）。可以理解为一个本地版的 AI 模型'应用商店'和'运行平台'，无需联网和复杂的配置，就能拥有一个私人的 AI 助手。

Ollama 的设计初衷是简化 AI 模型的使用，让技术不再有高门槛。它的核心价值体现在以下几个方面：

• 极致简化部署：告别繁琐的环境配置和依赖安装。通过一行命令 ollama run <模型名>，Ollama 会自动帮你完成模型的下载、加载和启动，真正做到开箱即用。
• 数据隐私安全：所有模型和数据都在你自己的电脑上运行，无需将任何信息上传到云端。这对于处理敏感信息的企业或个人来说，是一个至关重要的优势。
• 硬件资源友好：Ollama 采用了模型量化等技术，能显著降低模型对内存的需求。这使得很多原本需要昂贵服务器的模型，也能在普通的个人电脑甚至笔记本上流畅运行。

通过官方下载 PC 端，详情见：https://ollama.com/download

可以选择对应的模型，若要引入本地离线模型，此处使用上文中的 Qwen3.5 举例：

1. 首先进入模型目录：cd "C:\Users\Administrator\.cache\modelscope\hub\models\unsloth\Qwen3.5-0.8B-GGUF"
2. 创建【Modelfile】此文件无后缀：echo FROM Qwen3.5-0.8B-Q4_K_M.gguf > Modelfile
3. 创建模型 - 文件中写的是相对路径所以需要在当前目录下：ollama create qwen3.5-0.8b-4km -f ./Modelfile
4. 重启 ollama 即可选择该模型，或者执行命令：ollama run qwen3.5-0.8b-4km

3. LLaMaFactory

LLaMaFactory 安装详情见：https://llamafactory.readthedocs.io/zh-cn/latest/getting_started/installation.html

CUDA 安装包下载：https://developer.nvidia.com/cuda-downloads?target_os=Windows&target_arch=x86_64&target_version=10&target_type=exe_local

安装完成后命令行：nvcc -V 出现如下，表示安装成功；

使用 git 下载项目：git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

cd LLaMA-Factory
pip install -e .
pip install -r requirements/metrics.txt

通过使用 llamafactory-cli version 校验安装成功；

LLaMa Factory 支持通过 WebUI 微调大语言模型，使用指令：llamafactory-cli webui

访问：http://localhost:7860/ 可以进入页面；

4. llama.cpp

由于个人电脑缺少独显 GPU，无法运行 LLaMa Factory，故后续改用 llama.cpp；

llama.cpp 是免费的开源工具，对 CPU 运行做了优化，同时可直接使用 GGUF 格式。

访问官方发布页：https://github.com/ggml-org/llama.cpp/releases 下载对应 Windows 版本压缩包文件；

在 Assets 中找到 bin-win 的 zip 包；Vulkan 表示通用版，覆盖面广；SYCL 表示专业版，主要是配合独显设计的；

解压后进入目录，例如：D:\Program Files\llama-b8254-bin-win-vulkan-x64

使用命令行：llama-server.exe -m "C:\Users\Administrator\.cache\modelscope\hub\models\unsloth\Qwen3.5-0.8B-GGUF\Qwen3.5-0.8B-Q4_K_M.gguf"

访问：http://127.0.0.1:8080

本次基于 ModelScope 平台的 Qwen3.5 系列开源大模型本地部署实践，尽管最后通过引入 llama.cpp 成功在 CPU 环境下启动了模型服务，验证了其在资源受限环境下本地化部署的可行性。但是 LLaMaFactory 的 WebUI 微调功能及其具体参数配置，由于涉及更复杂的依赖环境和硬件要求，本次暂未展开实践，相关内容将在后续的技术分享中进行补充。