Windows11 本地部署 Qwen3.5 量化模型测试
1. 下载 llama.cpp 二进制文件
访问官方发布页面： https://github.com/ggml-org/llama.cpp/releases
选择适合自己平台的版本。由于没有独立显卡，选择 CPU 版本。 下载地址示例： https://github.com/ggml-org/llama.cpp/releases/download/b8192/llama-b8192-bin-win-cpu-x64.zip
解压到 D:\llama8 目录。
2. 下载量化模型
参考相关社区指南，建议闭眼选 UD-Q4_K_XL 或 Q4_K_M。Unsloth 官方的 KL Divergence 测试显示，UD-Q4_K_XL 在 Pareto 前沿上表现 SOTA（State of the Art），精度损失可以忽略不计。
原命令行方式可能失败，可通过镜像站手工查找文件，用 wget 分别下载不同版本：
- Qwen3.5-0.8B.Q4_K_M.gguf
- Qwen3.5-0.8B-UD-Q4_K_XL.gguf
- Qwen3.5-2B-UD-Q4_K_XL.gguf
3. 模型测试与性能分析
第一个模型 (Qwen3.5-0.8B.Q4_K_M)
C:\d\models\qw3508q4>\d\llama8\llama-cli -m Qwen3.5-0.8B.Q4_K_M.gguf --ctx-size 16384
测试结果：
- 翻译任务：直接输入英文原文未理解意图，需明确指令 "translate into Chinese"。
- 生成速度：约 36 t/s。
- 内存占用：Host 1192 MiB。
第二个模型 (Qwen3.5-0.8B-UD-Q4_K_XL)
C:\d\models\qw3508q4>\d\llama8\llama-cli -m Qwen3.5-0.8B-UD-Q4_K_XL.gguf --ctx-size 16384
测试结果：
- 翻译任务：能较好处理专业术语（如 conjunctive queries）。
- 数学计算：求根公式法解方程 x^2 - x - 20 = 0，步骤清晰，结果正确。
- 生成速度：约 32 t/s。
- 内存占用：Host 1222 MiB。
第三个模型 (Qwen3.5-2B-UD-Q4_K_XL)
C:\d\models\qw3508q4>\d\llama8\llama-cli -m Qwen3.5-2B-UD-Q4_K_XL.gguf --ctx-size 16384
测试结果：
- 翻译任务：漏译部分专有名词（conjunctive）。
- 数学计算：求根公式法结果正确。
- 物理题：存在错误推导，最终功率公式有误（应为 P=Fv，文中推导出现偏差）。
- 化学方程式：格式正确。
