传说中Ilya Sutskever精选论文清单：AI领域40大论文完整版「破解」完成

今年 5 月，一份网传 OpenAI 联合创始人兼首席科学家 Ilya Sutskever 整理的一份机器学习研究[文章清单])火了。网友称「Ilya 认为掌握了这些内容，你就了解了当前（人工智能领域） 90% 的重要内容。」

据说这份论文清单是 2020 年 OpenAI 的联合创始人、首席科学家 Ilya Sutskever 给另一位计算机领域大神，id Software 联合创始人，致力于转行 AGI 的 John Carmack 编写的。

虽然清单准确性难以考证（John Carmack 本人回应说已经把列表搞丢了），而且 AI 领域发展日新月异，但其内容很快流传开来，甚至有人表示它是 OpenAI 入职培训内容的一部分。

当时，这份清单包含 27 项机器学习资料，包括论文、博客文章、课程和两本书的章节，均来自 1993 年至 2020 年。

但据称，受 Meta 电子邮件删除策略的影响，该清单并不完整，原清单中应该包含约 40 项阅读资料。

转发来转发去，一小半内容被挤掉了，这你受的了吗？

特别是，根据与资料清单一起共享的一项声明，整个「元学习」类论文列表都丢失了。元学习是机器学习的一个子领域，是将自动学习算法应用于机器学习实验的元数据上。

就像红楼梦缺失的 40 回，清单资料缺失的 13 篇论文引发了不少讨论，对于哪些论文足够重要而应该包括在内，人们提出了许多不同的想法。

最近，一位名为 Taro Langner 的网友根据 Ilya Sutskever 多年来演讲内容、OpenAI 共享的资源等，试图找出清单丢失的资料。最后补充完成了「覆盖 AI 领域 90% 知识」的 AI 论文名单。

与此同时，他还指出了一些你必须注意的额外内容，包括 Yann LeCun、Ian Goodfellow 等重要 AI 学者的工作，以及关于 U-Net、YOLO 目标检测、GAN、WaveNet、Word2Vec 等技术的论文。

让我们看看其中的内容，和论文推荐的理由。

缺失的「元学习」板块

现在的 AI 系统可以通过大量时间和经验从头学习一项复杂技能。但是，我们如果想使智能体掌握多种技能、适应多种环境，则不应该从头开始在每一个环境中训练每一项技能，而是需要智能体通过对以往经验的再利用来学习如何学习多项新任务，因此我们不应该独立地训练每一个新任务。

这种学习如何学习的方法，又叫元学习（meta-learning），是通往可持续学习多项新任务的多面智能体的必经之路。

Ilya Sutskever 担任 OpenAI 首席科学家时曾发布教育资源「Spinning Up in Deep RL」，并公开发表过几次关于「元学习」的演讲：

Meta Learning and Self Play - Ilya Sutskever, OpenAI (YouTube), 2017

OpenAI - Meta Learning & Self Play - Ilya Sutskever (YouTube), 2018

Ilya Sutskever: OpenAI Meta-Learning and Self-Play (YouTube), 2018

Taro Langner 据此推测原始清单应该包含以下几篇研究论文：

《Meta-Learning with Memory-Augmented Neural Networks》

论文地址：https://proceedings.mlr.press/v48/santoro16.pdf

《Prototypical Networks for Few-shot Learning》

论文地址：https://arxiv.org/abs/1703.05175

《Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks》

论文地址：https://proceedings.mlr.press/v70/finn17a/finn17a.pdf

值得注意的是，Ilya Sutskever 在上述「元学习」演讲中，还提到了以下几篇论文：

《Human-level concept learning through probabilistic program induction》

‍论文地址：https://amygdala.psychdept.arizona.edu/labspace/JclubLabMeetings/Lijuan-Science-2015-Lake-1332-8.pdf

《Neural Architecture Search with Reinforcement Learning》

论文地址：https://arxiv.org/pdf/1611.01578

《A Simple Neural Attentive Meta-Learner》

论文地址：https://arxiv.org/pdf/1707.03141

可以发现，强化学习 (RL) 在演讲中也占有重要地位，因为强化学习与元学习有着密切的联系。一个关键概念是竞争性自我博弈，其中智能体在模拟环境中进行交互以达到特定的目标。

Ilya Sutskever 提出了一种进化生物学观点，将竞争性自我博弈与社交互动对大脑大小的影响联系起来。根据他的判断，在模拟的「智能体社会」中快速获得能力最终可能会为某种形式的通用人工智能提供一条可行的道路。

考虑到他赋予这些概念的重要性，一些被引用的有关自我博弈的论文也可能被纳入阅读清单：

《Hindsight Experience Replay》

论文地址：https://arxiv.org/abs/1707.01495

《Continuous control with deep reinforcement learning》

论文地址：https://arxiv.org/abs/1509.02971

《Sim-to-Real Transfer of Robotic Control with Dynamics Randomization》

论文地址：https://arxiv.org/abs/1710.06537

《Meta Learning Shared Hierarchies》

论文地址：https://arxiv.org/abs/1710.09767

《Temporal Difference Learning and TD-Gammon ，1995》

论文地址：https://www.csd.uwo.ca/~xling/cs346a/extra/tdgammon.pdf

《Karl Sims - Evolved Virtual Creatures, Evolution Simulation, 1994》

论文地址：https://dl.acm.org/doi/10.1145/192161.192167

《Emergent Complexity via Multi-Agent Competition》

论文地址：https://arxiv.org/abs/1710.03748

《Deep reinforcement learning from human preferences》

论文地址：https://arxiv.org/abs/1706.03741

其他可能性

当然，原始的 40 篇论文名单上可能还有许多其他作品和作者，但从现在开始，证据越来越薄弱了。

总体而言，目前补充完整的论文名单在涵盖不同模型类别、应用和理论的同时，还涵盖了该领域的许多著名作者，端水端得已经挺稳了。但显然，还有很多重要内容值得注意。

我们似乎可以继续列入：

Yann LeCun 等人的工作，他在 CNN 的实际应用方面做出了开创性的工作 ——《Gradient-based learning applied to document recognition》

Ian Goodfellow 等人的工作，他在生成对抗网络（GAN）方面的工作长期主导了图像生成领域 ——《Generative Adversarial Networks》

Demis Hassabis 等人的工作，他在 AlphaFold 方面的强化学习研究获得了诺贝尔奖 ——《Human-level control through deep reinforcement learning》、《AlphaFold at CASP13》

在更多信息公布之前，这篇文章在很大程度上仍是推测性的。毕竟，原版的「Ilya 阅读清单」本身也从未得到官方证实是真的。尽管如此，你可以看出目前补充好的列表是绝对具有含金量的。总之让我们先填补好空白，用作者的话来说，这大致相当于当时缺失了「重要内容的 30%」。

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓