荣登Nature！ 持续学习（Continue Learning）取得最新突破
荣登Nature！ 持续学习（Continue Learning）取得最新突破
倍速0点8 2024年11月06日 19:03 安徽
2024深度学习发论文&模型涨点之——持续学习
Nature发了一篇《Loss of plastisity in deep continual learning》
文章介绍了一种创新的算法——持续反向传播（Continual Backpropagation），该算法通过在每次迭代中随机重置一小部分较少使用的神经元来保持网络的塑性。这种方法通过不断引入多样性来维持网络的塑性和可变性，对于持续深度学习领域来说是一个重大突破。
作者Richard Sutton，作为强化学习领域的领军人物和权威，被誉为“强化学习之父”。他在人工智能领域的贡献涵盖了时间差分学习、策略梯度方法以及Dyna架构等多个方面。
小编整理了一些持续学习【论文】合集，以下放出部分，全部论文PDF版扫码领取。
论文精选
论文1：
【Nature】Loss of plasticity in deep continual learning
深度持续学习中的塑性丧失
作者：Shibhansh Dohare, J. Fernando Hernandez-Garcia, Qingfeng Lan, Parash Rahman, A. Rupam Mahmood, Richard S. Sutton
方法
标准深度学习方法：使用经典的ImageNet数据集和强化学习问题来展示深度学习在持续学习设置中的塑性逐渐丧失。
持续反向传播算法（Continual Backpropagation）：一种变化的反向传播算法，通过持续随机重新初始化一小部分使用较少的单元来维持网络的多样性和塑性。
损失塑性测试：通过在多个任务上训练和评估网络，测量网络在新任务上的学习能力，以评估塑性损失。
创新点
塑性损失现象：首次系统地展示了标准深度学习方法在持续学习设置中逐渐失去塑性，直到它们的学习效果不如浅层网络。
持续反向传播算法：提出了一种新的算法，通过在每一步中重新初始化一小部分使用最少的单元，有效地维持了网络的塑性，即使在长期学习中也能保持学习性能。
塑性损失的解决方案：通过实验表明，基于梯度下降的方法不足以维持深度学习的塑性，需要一个随机的、非梯度的组成部分来维持网络的变异性和塑性。
论文2：
Computationally Budgeted Continual Learning: What Does Matter?
计算预算的持续学习：什么才是重要的？
作者：Ameya Prabhu, Hasan Abed Al Kader Hammoud, Puneet Dokania, Philip H.S. Torr, Ser-Nam Lim, Bernard Ghanem, Adel Bibi
方法
计算预算限制：在每次时间步长中，对持续学习方法施加固定的计算预算，以模拟实际应用中的计算和时间限制。
多种数据流设置：在数据增量、类别增量和时间增量设置中评估不同的持续学习策略。
传统CL方法的性能比较：评估了包括采样策略、蒸馏损失和部分微调在内的各种传统CL方法在计算受限环境下的性能。
创新点
计算预算的现实考量：首次将计算预算作为持续学习研究的核心考量，更贴近实际应用场景。
大规模基准测试：通过在两个大规模数据集上的实验，提供了对传统CL方法在计算受限环境下性能的全面分析。
简化方法的有效性：发现在计算受限的持续学习中，简单的基于经验回放的方法（Naive）优于所有考虑的复杂CL方法，挑战了现有CL方法的有效性。
论文3：
【CVPR】Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters
通过专家混合适配器提升视觉-语言模型的持续学习能力
作者：Jiazuo Yu1, Yunzhi Zhuge1, Lu Zhang1,*, Ping Hu2, Dong Wang1, Huchuan Lu1 and You He3
方法
动态扩展预训练CLIP模型：通过集成响应新任务的专家混合（MoE）适配器来动态扩展预训练的CLIP模型。
分布判别自动选择器（DDAS）：引入DDAS自动将输入分配给MoE适配器或原始CLIP，以分别处理分布内和分布外的输入。
增量激活-冻结策略：在持续学习过程中，应用增量激活-冻结策略帮助专家学习任务内知识并鼓励任务间合作。
创新点
参数效率框架：提出了一个参数效率的持续学习框架，通过MoE适配器动态扩展架构，增强了模型的适应性和效率。
增量激活-冻结策略：开发了MoE框架中的增量激活-冻结策略，使专家能够同时获取任务内知识和进行任务间合作。
分布判别自动选择器（DDAS）：设计了DDAS以自动子流分配，有效融合了抗遗忘和零样本转移能力在一个统一模型中。
论文4：
A Comprehensive Survey of Continual Learning: Theory, Method and Application
持续学习全面综述：理论、方法与应用
作者：Liyuan Wang, Xingxing Zhang, Hang Su, Jun Zhu, Fellow, IEEE
方法
基本设置：介绍了持续学习的基本公式化、典型场景和评估指标。
理论基础：总结了持续学习的理论努力，包括稳定性-可塑性权衡和泛化性分析。
代表性方法：提供了一个最新的详尽分类，分析了代表性方法如何实现持续学习的目标。
实际应用：描述了这些方法如何适应实际应用中的特定挑战，如场景复杂性和任务特异性。
创新点
系统性总结：首次系统性地总结了持续学习的最新进展，包括理论、方法和应用。
全面视角：提供了一个全面的视角，促进了对持续学习领域的后续探索。
交叉方向前景：讨论了持续学习的当前趋势、跨方向前景和与神经科学的跨学科联系。
小编整理了持续学习论文合集
