昨天，国际表征学习大会（International Conference on Learning Representations，ICLR）公布了 ICLR 2024 杰出论文。
这次一共评出 5 篇杰出论文，其中 4 篇都和大模型有关；另外还有 11 篇论文拿到荣誉提名。结果并不意外，但这个比例还是挺显眼的：ICLR 这几年已经很难绕开大模型了。
ICLR 是机器学习领域的重要会议，每年举办一次，通常在四月底或五月初举行。会议内容包括特邀演讲，以及经评审论文的口头和海报展示。
ICLR 由 Yann LeCun（杨立昆）和 Yoshua Bengio 两位图灵奖得主创立，在深度学习圈子里一直有很高的存在感。自 2013 年首届会议起，它就采用开放式同行评审。当前的 ICLR 2024 正在奥地利维也纳举行，时间是 5 月 7 日到 11 日。
杰出论文奖
论文 1：Generalization in diffusion models arises from geometry-adaptive harmonic representations
- 作者：Zahra Kadkhodaie, Florentin Guth, Eero P Simoncelli, Stéphane Mallat
- 所属机构：纽约大学、Simons Foundation
- 论文链接：https://openreview.net/forum?id=ANvmVS2Yr0
- 获奖理由：这篇论文盯住的是扩散模型里一个老问题：什么时候模型在'记住'输入，什么时候真的开始泛化。作者从几何自适应谐波表征和谐波分析的角度，把这个现象讲清楚了一些，也补上了我们理解视觉生成模型时缺的一块。它不是那种特别炫的工作，但理论上的洞察够扎实。
论文 2：Learning Interactive Real-World Simulators
- 作者：Sherry Yang, Yilun Du, Seyed Kamyar Seyed Ghasemipour, Jonathan Tompson, Leslie Pack Kaelbling, Dale Schuurmans, Pieter Abbeel
- 所属机构：UC 伯克利、Google DeepMind、MIT
- 论文链接：https://openreview.net/forum?id=sFyTZEqmUY
- 获奖理由：这篇工作讨论的是怎么把来自不同机器人的数据汇到一起，训练机器人基础模型。难点不在'数据很多'这件事本身，而在不同机器人有不同的感知和控制接口，数据天然碎片化。UniSim 的做法是用一个统一界面把这些数据接起来，再借助视觉和语言领域的新进展去训练模拟器。更像一项工程能力很强的推进，而不是单点技巧。
