AI模型有保质期 持续学习或许是一个解决方案

为什么在一个唯一不变的就是变化的世界中，我们需要对AI模型采取持续学习的方法。

想象一下，你有一个小机器人，旨在在你的花园里走动并浇水。最初，你花了几周的时间收集数据来训练和测试机器人，投入了相当多的时间和资源。当地面覆盖着草和裸土时，机器人学会了高效地在花园中导航。

然而，随着时间的推移，花朵开始绽放，花园的外观发生了显著变化。这个在不同季节的数据上训练的机器人，现在无法准确识别周围环境，并且难以完成任务。要解决这个问题，你需要将盛开的花园的新例子添加到模型中。

你最初的想法是将新的数据示例添加到训练中，并从头开始重新训练模型。但这很昂贵，你不想在每次环境变化时都这样做。此外，你刚刚意识到你没有所有的历史训练数据可用。

现在你考虑仅用新样本微调模型。但这很冒险，因为模型可能会失去一些之前学到的能力，导致灾难性遗忘（一种情况，即模型在学习新信息时失去之前获得的知识和技能）。

..那么有没有替代方案？是的，使用持续学习！

当然，浇水的机器人只是这个问题的一个示例。在后面的部分中，你将看到更现实的应用。

自适应学习与持续学习 (CL)

无法预见和准备模型未来可能面临的所有场景。因此，在许多情况下，随着新样本的到来，对模型进行自适应训练可能是一个不错的选择。

在 CL 中，我们希望找到模型的 稳定性 和 可塑性 之间的平衡。稳定性是模型保留先前学习信息的能力，而可塑性是模型在引入新任务时适应新信息的能力。

“(…) 在持续学习场景中，学习模型需要逐步构建并动态更新内部表示，因为任务的分布在其生命周期中动态变化。” [2]

但如何控制稳定性和可塑性？

研究人员已经确定了多种构建自适应模型的方法。在 [3] 中建立了以下类别：

1. 基于正则化的方法

• 在这种方法中，我们添加一个正则化项，以平衡旧任务和新任务对模型结构的影响。
• 例如，权重正则化旨在通过向损失函数添加一个惩罚项来控制参数的变化，该惩罚项考虑了参数对先前任务的贡献程度，从而惩罚参数的变化。

2. 基于重放的方法

• 这一组方法专注于恢复一些历史数据，以便模型仍然能够可靠地解决先前的任务。该方法的一个限制是我们需要访问历史数据，而这并不总是可能的。
• 例如，经验重放，我们保留并重放一部分旧的训练数据。在训练新任务时，添加一些来自先前任务的示例，以使模型接触到旧任务和新任务类型的混合，从而限制灾难性遗忘。

3. 基于优化的方法

• 在这里，我们希望操控优化方法，以保持所有任务的性能，同时减少灾难性遗忘的影响。
• 例如，梯度投影是一种方法，其中为新任务计算的梯度被投影，以避免影响先前的梯度。

4. 基于表示的方法

• 这一组方法专注于获取和使用稳健的特征表示，以避免灾难性遗忘。
• 例如，自监督学习，模型可以在针对特定任务进行训练之前，学习数据的稳健表示。其思想是学习高质量的特征，以反映模型在未来可能遇到的不同任务之间的良好泛化。

5. 基于架构的方法

• 之前的方法假设一个单一模型和单一参数空间，但在 CL 中也有许多技术利用模型的架构。
• 例如，参数分配，在训练过程中，每个新任务被分配到网络中的一个专用子空间，从而消除了参数破坏性干扰的问题。然而，如果网络不是固定的，其大小将随着新任务的数量而增长。

如何评估 CL 模型的性能？

CL 模型的基本性能可以从多个角度进行衡量 [3]：

• 整体性能评估： 所有任务的平均性能
• 记忆稳定性评估： 计算在持续训练之前给定任务的最大性能与当前性能之间的差异
• 学习可塑性评估： 测量联合训练性能（如果在所有数据上训练）与使用 CL 训练时的性能之间的差异

那么，为什么所有的人工智能研究人员不立即转向持续学习呢？

如果您可以访问历史训练数据，并且不担心计算成本，那么从头开始训练似乎更简单。

其中一个原因是，在持续训练过程中，模型内部发生的事情的可解释性仍然有限。如果从头开始训练能够获得与持续训练相同或更好的结果，那么人们可能更倾向于选择更简单的方法，即从头开始重新训练，而不是花时间去理解持续学习方法的性能问题。

此外，目前的研究往往集中在模型和框架的评估上，这可能无法很好地反映业务可能面临的真实用例。如[6]中提到的，有许多合成增量基准并不能很好地反映真实世界中任务的自然演变情况。

最后，如[4]中所指出的，许多关于持续学习主题的论文关注存储而非计算成本，而实际上，存储历史数据的成本和能耗远低于重新训练模型的成本。

如果更多地关注模型重新训练中的计算和环境成本，可能会有更多人对改善持续学习方法的当前技术水平感兴趣，因为他们会看到可衡量的好处。例如，如[4]中提到的，最近的大型模型的重新训练可能超过10,000个GPU天的训练。

为什么我们应该致力于改进CL模型？

持续学习旨在解决当前AI模型面临的最具挑战性的瓶颈之一——数据分布随时间变化的事实。重新训练成本高昂，并且需要大量计算，这在经济和环境的角度来看都不是一种可持续的方法。因此，在未来，成熟的CL方法可能会使模型对更大社区的人们更易获取和重用。

正如在[4]中发现并总结的那样，有一系列应用本质上需要或可以从成熟的CL方法中受益：

1. 模型编辑

• 有选择性地编辑模型中易出错的部分，而不损害模型的其他部分。持续学习技术可以帮助以更低的计算成本持续纠正模型错误。

2. 个性化和专业化

• 通用模型有时需要进行调整，以便为特定用户提供更个性化的服务。通过持续学习，我们可以仅更新一小部分参数，而不会对模型造成灾难性的遗忘。

3. 设备端学习

• 小型设备的内存和计算资源有限，因此能够在新数据到达时高效实时训练模型的方法，而无需从头开始，可能在这一领域非常有用。

4. 更快的温启动重训练

• 当新样本可用或分布发生显著变化时，需要更新模型。通过持续学习，这一过程可以更高效地进行，仅更新受新样本影响的部分，而不是从头开始重新训练。

5. 强化学习

• 强化学习涉及代理与通常是非平稳的环境进行交互。因此，高效的持续学习方法和策略可能对这一用例非常有用。

了解更多

正如您所看到的，在持续学习方法领域仍然有很大的改进空间。如果您感兴趣，可以从以下材料开始：

• 入门课程：* [Continual Learning Course] Lecture #1: Introduction and Motivation* 来自 ContinualAI 的 YouTube https://youtu.be/z9DDg2CJjeE?si=j57_qLNmpRWcmXtP
• 关于持续学习动机的论文：Continual Learning: Application and the Road Forward [4]
• 关于持续学习最新技术的论文：Comprehensive Survey of Continual Learning: Theory, Method and Application [3]

如果您有任何问题或意见，请随时在评论区分享。

干杯！

参考文献

[1] Awasthi, A., & Sarawagi, S. (2019). 使用神经网络的持续学习：综述. 在 ACM 印度联合国际数据科学与数据管理会议论文集中 (第 362–365 页). 计算机协会.

[2] Continual AI Wiki 持续学习简介 https://wiki.continualai.org/the-continualai-wiki/introduction-to-continual-learning

[3] Wang, L., Zhang, X., Su, H., & Zhu, J. (2024). 持续学习的全面调查：理论、方法与应用. IEEE 模式分析与机器智能学报, 46(8), 5362–5383.*

[4] Eli Verwimp, Rahaf Aljundi, Shai Ben-David, Matthias Bethge, Andrea Cossu, Alexander Gepperth, Tyler L. Hayes, Eyke Hüllermeier, Christopher Kanan, Dhireesha Kudithipudi, Christoph H. Lampert, Martin Mundt, Razvan Pascanu, Adrian Popescu, Andreas S. Tolias, Joost van de Weijer, Bing Liu, Vincenzo Lomonaco, Tinne Tuytelaars, & Gido M. van de Ven. (2024). 持续学习：应用与未来之路 https://arxiv.org/abs/2311.11908

[5] Awasthi, A., & Sarawagi, S. (2019). 使用神经网络的持续学习：综述. 在 ACM 印度联合国际数据科学与数据管理会议论文集 (第 362–365 页). 计算机协会.

[6] Saurabh Garg, Mehrdad Farajtabar, Hadi Pouransari, Raviteja Vemulapalli, Sachin Mehta, Oncel Tuzel, Vaishaal Shankar, & Fartash Faghri. (2024). TiC-CLIP: CLIP 模型的持续训练.