RKNN 8 位量化全解析：算法差异与粒度选择实战指南

3. kl（KL 散度）

全称 Kullback-Leibler Divergence 量化，通过衡量'原始 FP32 数据分布'与'量化后 INT8 数据分布'的相似度选择 scale。KL 散度越小，说明两种分布越接近，量化精度越高。

kl 算法实例演示

仍用上述权重数据，采用 layer 级 kl 量化，步骤如下：

1. 统计原始 FP32 数据分布（直方图）：将数据范围 [-8.0, 8.0] 拆分 16 个区间，每个区间宽度 1.0，统计各区间数值占比（即分布 P）： 区间 [0.0,1.0)：4 个值（通道 0 全部），占比 4/8=50%； 区间 [5.0,6.0)：1 个值（5.0），占比 12.5%； 区间 [6.0,7.0)：1 个值（6.2），占比 12.5%； 区间 [7.0,8.0]：2 个值（7.1,8.0），占比 25%； 其余区间无数据，占比 0%。
2. 生成候选 scale 并统计量化后分布：同样基于 max_abs=8.0 生成候选 scale，以 scale=0.0567 和 scale=0.063 为例，分别量化所有数据，统计量化后 INT8 对应的原 FP32 区间占比（即分布 Q）。
3. 计算 KL 散度并选最优 scale：根据公式 KL(P||Q) = ΣP(i)·log(P(i)/Q(i)) 计算两种 scale 对应的 KL 散度（注意：P(i)=0 时该项为 0，避免 log(0)）。 scale=0.063（norm 算法选择）：通道 0 量化后集中在 [2,13]（对应原 FP32 [0.126, 0.819]），仅覆盖原始区间 [0.0,1.0) 的部分范围，Q 分布与 P 分布差异较大，KL 散度较高； scale=0.052（假设候选值）：通道 0 量化后集中在 [2,15]（对应原 FP32 [0.104, 0.78]），通道 1 量化后集中在 [96,153]（截断到 127，对应原 FP32 [5.096, 6.604] 和 7.204），Q 分布更贴近原始 P 分布，KL 散度更小，因此被选为最优 scale。

计算逻辑需先统计原始数据的直方图分布（如拆分 100 个区间统计数值占比），再对候选 scale 量化后的分布与原始分布计算 KL 散度（公式：KL(P||Q) = ΣP(i)·log(P(i)/Q(i))，P 为原始分布，Q 为量化后分布）。

kl 算法精度最高，尤其适合激活值（分布不均匀、动态范围广）和精度敏感层；但计算最复杂，需依赖校准集统计分布，量化耗时最长。

2.2 算法对比总表

三、两种量化粒度（layer/channel）差异解析

量化粒度决定了 scale 的适用范围，分为 layer（层级）和 channel（通道级），核心影响精度与硬件计算效率。需先明确：神经网络中'通道'是层的细分维度（如卷积层权重形状为 [out_channel, in_channel, kernel_h, kernel_w]）。

3.1 粒度定义与逻辑

1. layer 级量化（默认）

整层所有数据共用 1 个 scale。例如，一个输出通道数为 64 的卷积层，所有 64×in_channel×kernel_h×kernel_w 个权重仅计算 1 个 scale，统计整层的最大绝对值（或分布）即可。

优势是硬件效率最高——NPU 只需存储/加载 1 个 scale，计算逻辑简单，推理速度无损耗；缺点是当通道间数据分布差异大时，精度损失明显。

2. channel 级量化

每个通道单独计算 1 个 scale。例如，64 个输出通道的卷积层，将生成 64 个 scale，分别统计每个通道的最大绝对值（或分布）。

优势是精度更高——能适配不同通道的数值分布差异，避免某一通道的极端值影响其他通道；缺点是需存储多个 scale，NPU 计算时需匹配通道对应的 scale，推理速度略降 5%~10%，模型文件体积微增。

3.2 粒度差异实例

以简单卷积层（权重形状 [2,2,1,1]，2 个输出通道）为例，直观对比两种粒度的量化效果：

原始 FP32 权重（按通道拆分）：

• 通道 0：[0.1, 0.3, 0.5, 0.8]（范围 0.1~0.8）
• 通道 1：[5.0, 6.2, 7.1, 8.0]（范围 5.0~8.0）

layer 级量化（1 个 scale）

整层最大绝对值=8.0 → scale=8.0/127≈0.063

通道 0 量化结果：[2,5,8,13]，反量化误差较大（如 0.1→0.126，误差 0.026）；通道 1 量化结果：[79,98,113,127]，误差较小。整体因通道分布差异，部分通道精度损失明显。

channel 级量化（2 个 scale）

通道 0 最大绝对值=0.8 → scale_0=0.8/127≈0.0063，量化结果 [16,48,79,127]，反量化误差仅 0.0008；通道 1 scale_1=8.0/127≈0.063，量化结果与 layer 级一致。整体精度大幅提升。

3.3 粒度对比总表

四、RKNN 量化实操代码示例

以下代码演示如何在 RKNN-Toolkit2 中切换量化算法和粒度，以 ONNX 模型为例：

from rknn.api import RKNN

# 1. 初始化 RKNN 实例
rknn = RKNN()

# 2. 加载 ONNX 模型（需指定输入和形状）
rknn.load_onnx(
    model='model.onnx',
    inputs=['input'],
    input_shapes={'input': [1, 3, 224, 224]}  # 适配模型输入形状
)

# 3. 配置量化参数（核心：算法 + 粒度）
# 方案 1：norm+layer（默认，速度优先）
rknn.config(
    quantized_dtype='int8',      # 8 位量化
    quantized_algorithm='normal', # 量化算法
    quantized_type='layer'        # 量化粒度（可省略，默认 layer）
)

# 方案 2：mmse+layer（规避极端值，精度略高）
# rknn.config(
#     quantized_dtype='int8',
#     quantized_algorithm='mmse',
#     quantized_type='layer'
# )

# 方案 3：kl+channel（精度最优，适配复杂场景）
# rknn.config(
#     quantized_dtype='int8',
#     quantized_algorithm='kl',
#     quantized_type='channel'
# )

# 4. 构建量化模型（静态量化需指定校准集）
rknn.build(
    do_quantization=True,       # 开启量化
    dataset='cali_data.txt'     # 校准集路径（每行一个样本路径）
)

# 5. 导出 RKNN 模型（用于 NPU 推理）
rknn.export_rknn('quantized_model.rknn')

# 6. 释放资源
rknn.release()

注意：mmse/kl 算法及 channel 级量化需依赖校准集（通常 100~1000 张真实样本），才能准确统计数据分布或极值，保证量化精度。

五、量化方案选择策略

实际部署中，需根据业务需求（精度/速度）、模型结构、硬件型号综合选择，推荐优先级如下：

1. 基础方案：norm+layer 级量化。适用于大多数通用场景，量化速度快、硬件效率高，若精度达标（如准确率损失<1%），直接采用。
2. 精度优化 1：若 norm 精度不达标，切换为 mmse+layer 级量化，规避极端值影响，无需大幅增加量化耗时。
3. 精度优化 2：若 mmse 仍不满足需求，采用 kl+channel 级量化（需新一代 NPU 支持），最大化精度收益，接受轻微速度损失。
4. 特殊层优化：对注意力层、分类头、第一层卷积等精度敏感层，单独配置 channel 级量化；对普通卷积层保留 layer 级，平衡精度与速度。

六、总结

RKNN 8 位量化的核心是通过 scale 实现 FP32 与 INT8 的映射，而量化算法（norm/mmse/kl）决定了 scale 的最优性，量化粒度（layer/channel）决定了 scale 的适用范围。开发者需明确：精度与速度存在权衡关系——norm+layer 速度最快，kl+channel 精度最高。

实际部署时，建议从基础方案开始验证，逐步优化精度，同时结合校准集质量、硬件型号调整参数，最终实现'精度达标、速度最优'的部署效果。