今年 5 月，一份网传 OpenAI 联合创始人兼首席科学家 Ilya Sutskever 整理的机器学习研究文章清单在技术社区引发广泛关注。网友称「Ilya 认为掌握了这些内容，你就了解了当前人工智能领域 90% 的重要内容。」
据传这份清单是 2020 年 Ilya Sutskever 给另一位计算机领域大神、id Software 联合创始人 John Carmack 编写的。虽然清单准确性难以考证（John Carmack 本人回应说已经把列表搞丢了），而且 AI 领域发展日新月异，但其内容很快流传开来，甚至有人表示它是 OpenAI 入职培训内容的一部分。
当时，这份清单包含 27 项机器学习资料，包括论文、博客文章、课程和两本书的章节，均来自 1993 年至 2020 年。但据称，受 Meta 电子邮件删除策略的影响，该清单并不完整，原清单中应该包含约 40 项阅读资料。特别是，根据与资料清单一起共享的一项声明，整个「元学习」类论文列表都丢失了。元学习是机器学习的一个子领域，是将自动学习算法应用于机器学习实验的元数据上。
就像红楼梦缺失的 40 回，清单资料缺失的 13 篇论文引发了不少讨论。对于哪些论文足够重要而应该包括在内，人们提出了许多不同的想法。最近，一位名为 Taro Langner 的网友根据 Ilya Sutskever 多年来演讲内容、OpenAI 共享的资源等，试图找出清单丢失的资料。最后补充完成了「覆盖 AI 领域 90% 知识」的 AI 论文名单。与此同时，他还指出了一些你必须注意的额外内容，包括 Yann LeCun、Ian Goodfellow 等重要 AI 学者的工作，以及关于 U-Net、YOLO 目标检测、GAN、WaveNet、Word2Vec 等技术的论文。
缺失的「元学习」板块
现在的 AI 系统可以通过大量时间和经验从头学习一项复杂技能。但是，我们如果想使智能体掌握多种技能、适应多种环境，则不应该从头开始在每一个环境中训练每一项技能，而是需要智能体通过对以往经验的再利用来学习如何学习多项新任务，因此我们不应该独立地训练每一个新任务。
这种学习如何学习的方法，又叫元学习（meta-learning），是通往可持续学习多项新任务的多面智能体的必经之路。Ilya Sutskever 担任 OpenAI 首席科学家时曾发布教育资源「Spinning Up in Deep RL」，并公开发表过几次关于「元学习」的演讲。
Taro Langner 据此推测原始清单应该包含以下几篇研究论文：
-
《Meta-Learning with Memory-Augmented Neural Networks》
- 论文地址：https://proceedings.mlr.press/v48/santoro16.pdf
- 简介：这篇论文引入了记忆增强神经网络的概念，通过外部记忆模块帮助模型快速适应新任务，是元学习领域的奠基之作。
-
《Prototypical Networks for Few-shot Learning》
- 论文地址：https://arxiv.org/abs/1703.05175
- 简介：提出了一种基于原型的少样本学习方法，通过计算类别原型之间的距离来进行分类，极大地简化了少样本学习的流程。
-
《Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks》
- 论文地址：https://proceedings.mlr.press/v70/finn17a/finn17a.pdf
- 简介：即著名的 MAML 算法，提供了一种模型无关的元学习框架，使得深度学习模型能够通过少量梯度更新快速适应新任务。
值得注意的是，Ilya Sutskever 在上述「元学习」演讲中，还提到了以下几篇论文：
- 《Human-level concept learning through probabilistic program induction》
- 《Neural Architecture Search with Reinforcement Learning》
