VLM Unlearning 核心方法综述：从对抗遗忘到神经元编辑

实施步骤

第一步：检测模态偏置神经元

我们需要计算不同模态下的神经元指标，差异越大越可能是模态专属神经元：

1. 激活强度差：$I_{\mathrm{abs}}(D,n)$，差异越大越专属。
2. 激活频率差：$I_{\mathrm{freq}}(D,n)$，差异越大越专属。
3. 激活方差：$I_{\mathrm{var}}(D,n)$，方差越大信息承载能力越强。
4. RMS 指标：$I_{\mathrm{rms}}(D,n)$，用于惩罚无脑常亮的神经元。

第二步：计算 Forget Score

综合上述指标计算得分，选取最大的神经元作为 selected neurons：

$$ S_{n}=\frac{I(D_{f},n)}{I(D_{r},n)+\epsilon} $$

其中 $D_r$ 是保留数据集，$D_f$ 是遗忘数据集。

第三步：部署 Mask

在选定的神经元上设置 mask = 0，后续推理中永久生效。

优势

• 无需重新训练
• 计算效率极高
• 可解释性强

Neuron Path Editing：跨模态路径编辑

论文链接：Cross-Modal Unlearning via Influential Neuron Path Editing in Multimodal Large Language Models

核心思想

模型中的知识通常沿着特定的神经元路径传播。与其盲目剪枝，不如找到关键路径并进行精确编辑。

方法步骤

路径定位

利用 Integrated Gradient 找到关键神经元。这里有个细节要注意：为什么要累积梯度？因为神经元对任务的影响可能是非线性的，某一点梯度可能为 0，但之前的累积梯度很大。所以需要从 $\frac{1}{m}\alpha$ 到 $\alpha$ 逐步累积。

文本输出影响： $$ \text{IGI}(\mathbf{w}) = \sum_{j=1}^N \tilde{w}{i_j}^n \sum{k=1}^m \sum_{l=1}^N \frac{\partial F_T\left(\frac{k}{m}\alpha_{i_1}^1, \dots, \frac{k}{m}\alpha_{i_N}^N\right)}{\partial w_{i_l}^l} $$

视觉输出影响： $$ \text{IFI}(\mathbf{z}) = \sum_{n=1}^N \tilde{z}{i_n}^n \sum{k=1}^m \sum_{l=1}^N \left(\frac{\partial \mathbf{G}\left(\frac{k}{m}\beta_{i_1}^1, \dots, \frac{k}{m}\beta_{i_N}^N\right)}{\partial z_{i_l}^l}\right)^2 $$

构建关键路径

逐层寻找满足 $\max(\text{IGI} / \text{IFI})$ 的神经元加入现有路径。

RMisU Path Editing

编辑关键路径对应参数。这里只解冻极少量参数（基本就是一个参数矩阵的一行和一列），损失函数设计如下：

$$ \mathcal{L} = \mathcal{L}{\text{retain}} + \mathcal{L}^{f}{\text{RMisU}} + \gamma \mathcal{L}^{r}_{\text{RMisU}} $$

• Retain Loss：在保留数据上，新模型输出行为仍正常。 $$ \mathcal{L}{\text{retain}} = \mathbb{E}{(x^r, y^r) \in D^r} \left[ -\sum_{i=1}^{|y^r|} \log P_{M_{\theta^*}}(y_i^r \mid x^r, y_{<i}^r) \right] $$
• Forget Loss：中间隐藏层表示必须长得像随机噪声向量。 $$ \mathcal{L}^{f}{\text{RMisU}} = \mathbb{E}{x^f \in D^f} \left| \mathbf{h}^{(l)}{M{\theta^*}}(x^f) - \mathbf{v}^f \right|_2^2 $$
• Retain Representation Loss：在保留集上，新模型中间层表示必须和原模型几乎一模一样。 $$ \mathcal{L}^{r}{\text{RMisU}} = \mathbb{E}{x^r \in D^r} \left| \mathbf{h}^{(l)}{M{\theta^*}}(x^r) - \mathbf{h}^{(l)}{M\theta}(x^r) \right|_2^2 $$

优势

• 精确编辑知识
• 参数修改极少
• 最大程度保留模型能力

MLLM Eraser：测试时激活引导

论文链接：MLLM Eraser: Achieving Test-Time Unlearning in Multimodal Large Language Models through Activation Steering

核心思想

不需要改权重，直接在推理阶段向隐藏层添加方向向量，将模型行为从 knowledge recall 转变为 knowledge erasure。

方法步骤

构造两类输入

• Recall 行为：使用 jailbreak prompt 或 adversarial image，唤起模型尝试回答。 $$ h^{(i)}_{\text{recall}} = h(I'_i, Q'_i) $$
• Refusal 行为：使用 clean image 或 blocked prompt，强制模型无法回答。 $$ h^{(j)}_{\text{refusal}} = h(I_j, Q_j) $$

计算 Erasure Direction

$$ d_{\text{erase}} = \mathbb{E}!\left[h_{\text{refusal}}\right] - \mathbb{E}!\left[h_{\text{recall}}\right] $$ 这代表了从 recall 到 refusal 的方向。

学习线性门控函数

我们需要学习一个函数来判断是否触发 erasure： $$ f(\mathbf{h}) = \mathbf{W} \mathbf{P} \mathbf{h} $$ 其中 $P$ 是投影矩阵（保留相关子空间），$W$ 是映射矩阵（判断是否触发）。优化目标是最小化误差并控制正则项。

输入感知 Steering

最终修改隐藏层： $$ \tilde{h}^{(\ell)} = h^{(\ell)} + \lambda W P h^{(\ell)} $$ 如果输入接近 recall 状态，则添加 $d_{\text{erase}}$；如果接近 refusal，则保持不变。

优势

• 不需要重新训练
• 推理阶段可控
• 支持输入感知动态调整