无GPU也行：Qwen3.5 本地部署记录

在 Ollama 中导入刚下载的 GGUF 模型，需要创建一个 Modelfile：

cd "C:\Users\Administrator\.cache\modelscope\hub\models\unsloth\Qwen3.5-0.8B-GGUF"
echo FROM Qwen3.5-0.8B-Q4_K_M.gguf > Modelfile
ollama create qwen3.5-0.8b-4km -f ./Modelfile

之后执行 ollama run qwen3.5-0.8b-4km 就能对话了。步骤简单，但 CPU 风扇立刻起飞，速度符合预期——慢。

接着我惦记着微调，于是尝试 LLaMaFactory。它提供了一个 WebUI，号称能轻松微调大模型。按照文档，先安装 CUDA（从 NVIDIA 官网 下载），再克隆项目：

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e .
pip install -r requirements/metrics.txt

验证安装成功：llamafactory-cli version。

启动 WebUI：llamafactory-cli webui。

访问 http://localhost:7860/，界面看起来挺专业。

然而，尝试加载模型时直接报 CUDA out of memory —— 没有 NVIDIA 独显，根本跑不了训练。这条路对纯 CPU 机器不通，放弃。

既然微调无望，那就专注推理。llama.cpp 是 GGUF 的官方推理引擎，专为 CPU 优化，正合我意。从 GitHub releases 下载 Windows 包，我选了 llama-b8254-bin-win-vulkan-x64，兼容性够用。

解压后，直接启动服务：

llama-server.exe -m "C:\Users\Administrator\.cache\modelscope\hub\models\unsloth\Qwen3.5-0.8B-GGUF\Qwen3.5-0.8B-Q4_K_M.gguf"

浏览器打开 http://127.0.0.1:8080，熟悉的对话界面出现了。

0.8B 模型回答质量确实一般，但能在无 GPU 的笔记本上跑起来，已经达到目的。LLaMaFactory 的微调部分就等以后上了独显再补上吧，到时候可以整理一份完整的参数配置记录。