基于任务辅助生成对抗网络（TA-GAN）增强光学纳米显微图像分辨率

背景与挑战

超分辨率荧光显微镜技术使得在活体和固定生物组织中表征纳米结构成为可能。然而，这类技术在应用时面临严峻的权衡挑战：需要在最小化光照暴露的同时最大化空间和时间分辨率。过强的光照会导致光毒性，影响细胞活性；而降低光照则往往牺牲信噪比和分辨率。

为了克服这些限制，传统的采集后算法方法被提出用于分辨率增强和图像质量改善。但在实际应用中，单纯依靠数据驱动的超分辨率重建往往难以保证生成的纳米级结构信息对于后续生物学分析的真实性和可靠性。

TA-GAN 核心原理

作者介绍了任务辅助生成对抗网络（Task-Assisted GAN, TA-GAN）。该方法的核心创新在于结合了一个与观察到的生物纳米结构表征密切相关的辅助任务（例如，分割、定位），以此指导生成器。

1. 条件生成对抗网络（cGAN）基础

在为算法超分辨率开发的方法中，条件生成对抗网络（cGAN）根据不同的输入值生成数据实例，捕捉其中的一些特征以指导创建适合目标域的新实例。然而，合成图像的真实性并不能完全保证图像可以用于进一步的特定领域分析，这限制了它们在光学显微镜中的使用。生成超分辨显微镜图像的主要目标是产生关于感兴趣生物结构的可靠纳米级信息。

2. 辅助任务的引入

使用辅助任务或多任务学习优化网络，可以指导生成器解析当前上下文中重要的内容。cGAN 在图像到图像翻译的各种应用中使用辅助任务，如语义分割、属性分割或前景分割，为生成器提供空间指导。作者适应这个想法，在显微镜的背景下，结构特定的注释可以引导注意力集中在只有训练有素的专家才能识别的微妙特征上。

TA-GAN 依赖于与输入低分辨率模态（例如，共聚焦或明场显微镜）无法解析但目标超分辨率模态（例如 STED 或结构光照明显微镜（SIM））中容易区分的结构相关的辅助任务。通过称为 TA-CycleGAN 的变体扩展了该方法的适用性，基于 CycleGAN 模型，适用于未配对的数据集。

3. 损失函数设计

TA-GAN 架构包含生成器（Generator）、判别器（Discriminator）和任务网络（Task Network）。损失函数包括：

生成损失（GEN）：确保生成图像与真实图像在像素分布上接近。
GAN 损失（GAN）：判别器区分真实与生成图像的能力。
任务损失（TL）：辅助任务网络对生成图像进行预测的损失，确保生成的结构符合生物学先验知识。
判别器损失（DG/DR）：分别针对生成图像和真实图像的判别器反馈。

这种多任务学习机制迫使生成器不仅关注纹理的逼真度，还要保留关键的拓扑结构和形态特征。

实验与应用场景

1. 神经元轴突 F-肌动蛋白

在轴突 F-肌动蛋白数据集上，TA-GAN Ax 被应用于共聚焦图像到 STED 图像的转换。使用 F-肌动蛋白环的分割作为辅助任务来优化生成器。实验结果显示，TA-GAN 在 PSNR 和 SSIM 指标上优于基线算法超分辨率方法。生成的图像能够准确还原 F-肌动蛋白环的形态，这对于研究神经元的骨架动力学至关重要。

2. 突触蛋白团簇

针对突触蛋白数据集，设计了两个 TA-GAN 模型，分别使用蛋白质团簇的分割或加权质心的定位作为辅助任务。比较不同方法在表征突触团簇形态特征方面的表现，统计分析显示 TA-GAN 生成的 PSD95 团簇面积累积分布与真实 STED 结果无显著差异。这表明 TA-GAN 能够生成可用于定量分析的合成图像。

3. 金黄色葡萄球菌（S. aureus）

为金黄色葡萄球菌数据集设计的 TA-GANSA 模型，使用只需要 LR 明场图像的注释或需要 HR SIM 图像的注释进行分割任务的训练。测试结果显示，与 pix2pix 和使用 LR 注释训练的 TA-GANSA 相比，使用 HR 注释训练的 TA-GANSA 在生成分裂细菌细胞之间的边界方面表现更好，这是一种仅在 SIM 显微镜下可见的形态特征。这证明了高分辨率辅助标注能显著提升生成质量。

4. 领域适应与活细胞成像

利用 TA-CycleGAN 进行领域适应，将固定细胞 STED 图像上的知识迁移至活细胞数据。F-肌动蛋白环和纤维的语义分割被用作辅助任务来训练 TA-GANDend。结果表明，TA-CycleGAN 可以生成领域适应的数据集，使得原本只能在固定细胞上训练的 U-Net 模型能够正确分割活细胞 STED 图像上的 F-肌动蛋白纳米结构。此外，TA-GANLive 的应用允许在不需要获取超分辨率图像的情况下，预测视场中的纳米级内容，从而自动选择成像模态和感兴趣区域。