Claude团队喜提清华物理学霸姚顺宇！两个Yao Shunyu都投身大模型了
Claude团队喜提清华物理学霸姚顺宇！两个Yao Shunyu都投身大模型了
关注前沿科技 2024年10月28日 15:54 北京
金磊 梦晨 发自 凹非寺
清华物理系传奇特奖得主Yao Shunyu，正式投身大模型，加入Anthropic的Claude团队。
有意思的是，另一位Yao Shunyu，今年刚刚加入隔壁OpenAI。
注意别搞混哦，前者是学物理的姚顺宇，后者是学计算机的姚顺雨。（手动狗头）
这次加入Anthropic的姚顺宇，此前就可谓是名声大噪，本科期间就在凝聚态物理领域做出突破性贡献。
具体而言，他首次在国际上给出了关于非厄米系统的拓扑能带理论，并准确预测了相关现象。
此外，他还定义了两个新的物理概念，这些工作都发表在了世界物理顶级期刊Phys. Rev. Lett.上。
其研究的含金量之高，甚至有位211大学副教授给出过这样的评价：
我们这边即使是教授，也没有能超过姚顺宇同学目前本科期间的物理水平的。
在清华本科毕业之后，姚顺宇便去斯坦福攻读博士。
从领英的履历来看，他在今年毕业之后有2个动态的变化，一个是到加州伯克利做了几个月博士后，再之后就正式加入了Anthropic。
而在今年8月加入OpenAI的姚顺雨，同样也是来自清华，是姚班学霸+联席会主席（还是个Rapper）。
和搞物理的姚顺宇一样，姚班的姚顺雨在科研上的成就也是具备不小的影响力：
思维树（Tree of Thoughts）：让LLM反复思考，大幅提高推理能力。
SWE-bench：一个大模型能力评估数据集。
SWE-agent：一个开源AI程序员。
毫不夸张的说，几乎每项研究都在圈里产生了不小的涟漪；并且非常明显的一点是，它们都是深深围绕着大模型而展开。
而现如今，两位同为清华出身，同叫Yao Shunyu的人，在AI大模型上相汇了。
那么除了这两位Yao Shunyu，清华青年一代还有哪些人才投身大模型？
清华搞大模型的还有谁？
说到这个话题，不得不提的还有马腾宇和陈丹琦。
俩人当年是同班同学，清华姚班2008级校友，并且之后都拿了具有“诺奖风向标”之称的斯隆奖。
马腾宇博士就读于普林斯顿大学，导师是理论计算机科学家、两届哥德尔奖得主Sanjeev Arora教授。
博士毕业后，MIT、哈佛、斯坦福等顶尖高校都给了他助理教授的Offer，马腾宇最终选择了斯坦福。
去年年底，马腾宇还正式宣布大模型创业了——创立Voyage AI，透露将带队打造目前最好的嵌入模型，还会提供专注于某个领域或企业的定制化模型。
斯坦福人工智能实验室主任Christopher Manning、AI领域著名华人学者李飞飞等三名教授担任Voyage AI的学术顾问。
陈丹琦这边，清华姚班完成本科学业后，2018年又在斯坦福大学拿下博士学位，主攻NLP，最终成为普林斯顿大学计算机科学系助理教授、普林斯顿语言与智能项目副主任，共同领导普林斯顿NLP小组。
其个人主页显示，“这些天主要被开发大模型吸引”，正在研究主题包括：
检索如何在下一代模型中发挥重要作用，提高真实性、适应性、可解释性和可信度。
大模型的低成本训练和部署，改进训练方法、数据管理、模型压缩和下游任务适应优化。
还对真正增进对当前大模型功能和局限性理解的工作感兴趣，无论在经验上还是理论上。
除了这两位，业界、学术界姚班校友在搞大模型的还有很多。
之前火爆全网的大模型原生应用《完蛋！我被大模型包围了》及其续作《我把大模型玩坏了》，就是由姚班学霸带队开发的。
游戏作者范浩强，旷视6号员工。当年以IOI金牌、保送清华姚班、高二实习等传奇事迹被誉为天才少年。如今他已是旷视科技研究总经理，谷歌学术h-index 32的行业大佬。
马斯克xAI首个研究成果——Tensor Programs VI，共同一作中也有姚班校友的身影。
Tensor Programs VI是xAI创始成员、丘成桐弟子杨格（Greg Yang）之前Tensor Programs系列工作的延续，论文重点探讨了“如何训练无限深度网络”。
据说Tensor Programs相关成果，在GPT-4中已有应用。为解读论文，杨格本人当时还专门在X上进行了一场直播分享。
共同一作Dingli Yu，本科毕业于清华姚班，目前Dingli Yu也快要在普林斯顿计算机科学系博士毕业了。
还有很多很多…………
那么回到这次搞物理的姚顺宇加入Anthropic，还有一个话题值得说道说道——Why change。
Anthropic创始人：物理学家学AI就是快
学物理转行AI，其实已经是学术界的一个“传统艺能”。
毕竟被誉为“人工智能教母”的李飞飞，就是从物理转向研究计算机视觉的一个鲜明例子。
她在普林斯都研究物理的过程中意识到，宇宙的根本问题不只是物理，还可以是关于生命与智能的。
这次姚顺宇加入的Anthrophic AI，里面物理出身的研究员尤其不少。
创始人Dario Amodei自己就是物理学家，本科斯坦福物理专业，博士普林斯顿生物物理专业，可以算是李飞飞的师弟。
转折点在博士毕业第三年，Dario Amodei加入百度，曾与吴恩达一起工作，解决语音识别和自然语言处理中的问题，后来就在AI这条路上一路走到今天了。
Anthrophic AI招人也对物理背景的人才确实也有偏好，创始人去年8月还在一档节目中解释过理由：
……部分原因是物理学家学东西非常快。如果我们雇一个拥有物理博士学位的人，他们中的大部分可以快速学习机器学习并做出贡献。
我们的几位创始人，Jared Kaplan、Sam McCandlish，包括我自己，都是物理学家。现在团队里可能有30-40个物理学家。
机器学习仍然不是一个非常有深度的领域（a field that has an enourmous amount of depth），所以他们能够很快上手。
隔壁OpenAI也不乏物理专业出身的人才，如Sora团队中就有北大物理系校友靖礼。
Sora这类视频生成模型，也被定义为“物理世界的模拟器”。其背后的扩散模型，灵感更是从物理中的热力学借鉴而来。
……
不过要说今年“物理”和“人工智能”两个词联系最紧密的一次，莫过于刚刚颁发的诺贝尔物理奖了。
在颁奖活动中，诺奖组委会特别提到：
物理学为机器学习的发展贡献了工具，相应的，现在机器学习也惠及了物理研究。
例如，机器学习长期应用于希格斯粒子发现等诺奖领域，用于处理海量数据;它还可用于减少引力波测量中的噪声，或搜寻系外行星。
近年来，这项技术还开始被用于计算和预测分子及材料的性质，如计算决定蛋白质功能的分子结构，或设计性能更佳、可用于高效太阳能电池的新型材料。
只能说以后，科学发展到今天，学科之间的融合趋势会越来越明显了。
往好了想，只要有能力，学什么都不耽误跟上时代的潮流。
往坏了想，其他学科的人才可以随时跨界来卷你。
最后，附上英伟达科学家Jim Fan总结的“AI技术与相关物理原理对应表”。
参考链接：
[1]https://www.linkedin.com/in/shunyu-yao-204158285/
[2]https://www.youtube.com/watch?v=Nlkk3glap_U
— 完 —
