Windows 11 使用 llama.cpp 运行 Qwen3.5 量化模型测试

测试指令：

> translate into Chinese: No Thinking Content in History: In multi-turn conversations, the historical model output should only include the final output part and does not need to include the thinking content. It is implemented in the provided chat template in Jinja2. However, for frameworks that do not directly use the Jinja2 chat template, it is up to the developers to ensure that the best practice is followed.

结果：无思考内容的历史：在多轮对话中，历史模型的输出应仅包含最终输出部分，无需包含思考内容。该实现方式已嵌入到提供的聊天模板中（Jinja2）。但对于不使用该 Jinja2 聊天模板的框架，应由开发者确保遵循最佳实践。

Prompt: 437.5 t/s | Generation: 35.7 t/s

翻译 PostgreSQL 描述：

PostgreSQL 是一个强大的开源对象关系数据库系统，拥有超过 35 年的活跃开发历史。该系统因其卓越的重叠性、强大的功能完备性以及出色的性能表现，在国际上获得了广泛认可。

Prompt: 450.5 t/s | Generation: 35.6 t/s

内存占用分析：

llama_memory_breakdown_print: | memory breakdown [MiB] |
total free self model context compute unaccounted |
llama_memory_breakdown_print: | - Host | 1192 = 492 + 211 + 489 |
llama_memory_breakdown_print: | - CPU_REPACK | 181 = 181 + 0 + 0 |

结论：0.8B Q4_K_M 量化的生成速度约 36 t/s。直接抄录英文原文的情况较多，需明确指令。

3.2 第二个模型 (Qwen3.5-0.8B-UD-Q4_K_XL)

C:\d\models\qw3508q4> D:\llama8\llama-cli -m Qwen3.5-0.8B-UD-Q4_K_XL.gguf --ctx-size 16384 -cnv

测试指令：

> translate into Chinese: Acyclic conjunctive queries form the backbone of most analytical workloads...

结果：循环有向 conjunctive queries 构成了大多数分析工作负载的核心基础...（翻译质量有所提升）。

数学题测试：

> 用求根公式法解方程 x^2-x-20=0

结果： 步骤清晰，计算正确。 x1 = 5, x2 = -4

Prompt: 302.9 t/s | Generation: 31.0 t/s

因式分解法测试：

> 用因式分解法解方程 x^2-x-20=0

结果：x1 = 5, x2 = -4

Prompt: 324.5 t/s | Generation: 30.8 t/s

物理题测试：

> 一物体静止在水平面上，在水平恒力 F 作用下由静止开始运动，前进距离为 x 时，速度达到 v，求此时力 F 的瞬时功率

结果：推导过程存在错误，最终公式 P = mv^3 / 4x 有误，正确答案应为 P = Fv 或结合动能定理推导。

Prompt: 203.0 t/s | Generation: 23.4 t/s

结论：0.8B UD-Q4_K_XL 量化的生成速度约 32 t/s。conjunctive queries 漏译问题仍存在。

3.3 第三个模型 (Qwen3.5-2B-UD-Q4_K_XL)

C:\d\models\qw3508q4> D:\llama8\llama-cli -m Qwen3.5-2B-UD-Q4_K_XL.gguf --ctx-size 16384 -cnv

翻译测试：

> translate into Chinese: Acyclic conjunctive queries form the backbone of most analytical workloads...

结果：循环查询构成了大多数分析工作负载的核心...（翻译更准确）。

Prompt: 199.7 t/s | Generation: 24.0 t/s

数学题测试：

> 用求根公式法解方程 x^2-x-20=0

结果：步骤详细，计算正确。 x1 = 5, x2 = -4

Prompt: 198.5 t/s | Generation: 23.3 t/s

物理题测试：

> 一物体静止在水平面上，在水平恒力 F 作用下由静止开始运动，前进距离为 x 时，速度达到 v，求此时力 F 的瞬时功率

结果：方法二推导出现错误，P = mv^3 / 4x。网页版 Qwen3.5-Plus 回答指出题目未给出质量 m，且瞬时功率核心公式是 P = Fv。

Prompt: 203.0 t/s | Generation: 23.4 t/s

化学题测试：

> 室温下，0.1 mol·L⁻¹ 氨水的 pH = 11。NH₃·H₂O 的电离方程式是？

结果：NH₃·H₂O ⇌ NH₄⁺ + OH⁻（格式不错）。

连续对话测试：

> 形而上学是什么意思？
> 红薯是怎么传到中国的？
> 西红柿是怎么传到中国的？

结果：连续对话容易错，把西红柿也说成了杂粮，抄了上一个问题的答案。

Prompt: 193.9 t/s | Generation: 23.4 t/s

结论：2B UD-Q4_K_XL 量化的生成速度约 23 t/s。相比 0.8B 模型，逻辑能力增强，但推理复杂物理题仍有偏差。

4. 总结

• 速度：0.8B Q4_K_M 最快 (~36 t/s)，2B 最慢 (~23 t/s)。
• 质量：UD-Q4_K_XL 优于 Q4_K_M，但在特定术语翻译上仍有瑕疵。
• 能力：2B 模型在数学和逻辑上优于 0.8B，但仍不如云端 Plus 版本。
• 注意：连续对话易产生幻觉，需人工校验复杂任务结果。