Windows 11 使用 llama.cpp 运行 Qwen3.5 量化模型测试

3.2 模型二：Qwen3.5-0.8B-UD-Q4_K_XL.gguf

测试结果：

• 翻译任务： 能够准确翻译技术文档内容（如 Yannakakis 算法相关描述）。
• 数学计算： 能正确使用求根公式法解方程 $x^2-x-20=0$，步骤清晰。
• 因式分解： 能正确给出结果 $x_1=5, x_2=-4$。
• 生成速度： 约 32 t/s。
• 内存占用： Host 1222 MiB。

注意： 部分术语（如 conjunctive queries）翻译存在遗漏。

3.3 模型三：Qwen3.5-2B-UD-Q4_K_XL.gguf

测试结果：

• 翻译任务： 翻译流畅度优于 0.8B 版本，但仍有少量漏译。
• 数学计算： 求根公式解答正确。
• 物理题： 题目要求计算瞬时功率 $P=Fv$。模型给出的推导过程复杂且最终结果错误（得出 $mv^3/4x$），而网页版 Qwen3.5 Plus 直接指出 $P=Fv$ 且距离 $x$ 为干扰信息。说明小模型在处理复杂逻辑推理时容易出错。
• 化学方程式： 格式书写规范。
• 连续对话： 出现幻觉，将西红柿误称为杂粮，复制了上一个问题的答案。
• 生成速度： 约 23 t/s。
• 内存占用： Host 1975 MiB。

4. 总结

1. 性能对比： 参数量越大，生成速度越慢（0.8B ~32t/s，2B ~23t/s）。UD-Q4_K_XL 量化版本在精度和逻辑推理上略优于 Q4_K_M。
2. 准确性： 小模型在处理简单翻译和基础数学时表现尚可，但在物理公式推导、长文本翻译及多轮对话一致性上存在明显缺陷，容易出现幻觉或逻辑错误。
3. 适用场景： 适合本地轻量级部署体验，若需高精度推理建议结合云端大模型或使用更高规格硬件。