论文解读：低光照图像重构与去噪的新视角与通用架构

GCP 全局色度感知器

如图，它由归一化和 GCPA 组成，主要讲解一下 GCPA：

它首先经过 11 的卷积融合通道信息和 33 的深度卷积融合周围信息，并生成 Q、K、V。其中 Q、K 进行 pooling 池化，将 [C, H, W] 的特征图池化为 [C, H/s, W/s]，降低了计算的复杂度同时聚合了色彩的信息。然后进行矩阵的乘法和 softmax 计算注意力权重，再与 V 相乘计算出来全局色彩上下文调制后的特征。它和普通注意力计算不一样，就是图片最右侧 O((HW)^2) 降至 O(HW * (HW/s^2))。

为什么 GCP 能够实现只提取色彩特征而不提取纹理特征：

1. 数据的输入：在 RAW 中，色彩与空间信息是'解耦'的。每个像素点只记录一种颜色（红、绿或蓝）的亮度。相邻像素记录的是不同颜色的信息。这种结构使得'颜色'信息天然分布在通道维度上，而'纹理'需要组合多个相邻的不同颜色像素才能形成。
2. 池化的存在：池化会破坏纹理信息，让一块部分直接融合，所以就不会有纹理信息，但又能保存色彩信息。
3. 损失函数：总损失 L_total = L_denoise + L_reconstruct。当提取色彩特征的时候会获得更好的提升，所以模型会将整个模块往色彩方面训练。

RDE 纹理细节提取器

它首先使用一个 7*7 的空洞卷积，获取全局感受野并且获得提取细节纹理，然后进行归一化，然后连接一个门控函数。门控函数进去之后把特征送入两条路线，一条线性变换一条非线性变换，最后提升重要部分。

7*7 深度可分离大核空洞卷积：

• 大核：提供了宽广的感受野，能够捕捉更大范围的上下文，这对于判断一个点是孤立噪声还是连续边缘的一部分至关重要。
• 空洞：在扩大感受野的同时，不增加参数量或丢失分辨率，保持了计算效率。
• 深度可分离：将空间滤波与通道混合分离，极大减少计算量。这一步初步聚合了跨区域的细节信息。

全局结构

论文中并没有提到全局架构，只提了一下是由 U 形网络构成，然后根据代码还原的全局结构如下：

U 形网络部分被称为 Backbone（骨干网络），它就相当于是专家库，另外两个任务头就从这里面获取相关知识进行学习处理。之所以要有这个专家库，是因为专家库里面有色彩信息和纹理信息，它对两个任务都有好处。

学习目标（损失计算）

(1) 参数结构

• θ_b（主干参数）：模型绝大部分的'大脑'，负责从 RAW 输入 x 中提取统一特征空间。它是所有计算的核心。
• θ_m（重建头参数） 与 θ_n（去噪头参数）：两个轻量的'专业工具'。它们以 θ_b 的输出作为输入。

(2) 优化目标 优化器同时最小化去噪损失（L_den）和重建损失（L_rec）。这是一个多目标优化问题。网络无法使两个损失都达到单独训练时的最小值，但可以通过调整 (θ_b, θ_m, θ_n) 来寻找一个最优解——即在此点上，降低任何一个损失都会导致另一个损失上升。

(3) '动态分配资源'的机制 资源分配不是由一个外部控制器完成的，而是通过反向传播的梯度流自动、隐式实现的。在反向传播时，L_den 和 L_rec 产生的梯度会汇聚到共享主干 θ_b。

• 如果当前批次数据噪声特别严重，L_den 的梯度会更强，迫使 θ_b 更侧重于学习有利于噪声分离的特征。
• 如果当前批次数据色彩失真严重，L_rec 的梯度会占主导，引导 θ_b 强化色彩感知能力。

CANS++

CANS++ 相当于在原来的 CANS 上两任务头之间用交叉注意力建立连接。它实际上就是拿骨干网络生成 K、V，再拿两个任务头生成它们独特的 Q，然后进行注意力计算。最后训练出两个任务头，它的设计主要是每一次循环练完的参数会更新骨干网络，骨干网络又能生成 KV 和它们再次联系，从而就能使两个任务头能够进行互相的联系，这个任务头能从骨干获取上一轮另一个任务头产生的信息。

论文中没有给出完整流程图，这里提供一份参考：

它实际上就是比普通的 CANS 加了一个交叉联系。

模型结果

结论与展望

这篇论文主要是提出了一个新范式，就是骨干 + 轻量化任务头。最初一直不理解它跟端到端模型有什么区别，因为它一直在提自己比单任务串联好。经分析，这个论文本质上是一个新思想，它依赖的是设计来提升模型，而之前的 Retinexformer 和 Restormer 更像是依赖一个模型然后黑箱计算，直接得到结果。

这篇论文本质上还是在主要训练 Backbone，无论是 CANS 还是 CANS++，它本质上就是训练出来一个更聪明、更全面的专家来帮助后边任务完成结果。所以当论文中有提到去掉某一个任务头只执行单任务也可以得到很好的结果，因为骨干网络被训练得很好很完善。

对于这篇论文，后续研究方向包括：

1. 结合 Restormer 里直接用通道计算注意力，看会不会整体计算量更小。
2. 结合该模型每个任务头可拆卸这一特点，探索是否有可能出来一个更轻量化的模型。
3. Retinex 里面把图片分为光照分量和反射分量，有点类似于上文提到的 MCR。或许可以训练好一个 Retinex 分离光照分量和反射分量，然后让模型直接从反射分量学习模型结构，色彩感知 GCP 和光照分量结合。不过这样感觉整个网络计算量会很大很复杂。

同时认为论文提出这个骨干网络和多任务的交叉注意力是个很好的地方，可以训练出一个足够全能的专家网络，让它进行一些更多更全面的任务。这在高级视觉任务里面挺常见，如目标检测分割，所以认为这一类高级视觉任务的某些思想应该在低级视觉任务中会有很好的效果。