昨天,国际表征学习大会(International Conference on Learning Representations,ICLR)公布了 ICLR 2024 杰出论文。

这次一共评出 5 篇杰出论文,其中 4 篇都和大模型有关;另外还有 11 篇论文拿到荣誉提名。结果并不意外,但这个比例还是挺显眼的:ICLR 这几年已经很难绕开大模型了。
ICLR 是机器学习领域的重要会议,每年举办一次,通常在四月底或五月初举行。会议内容包括特邀演讲,以及经评审论文的口头和海报展示。
ICLR 由 Yann LeCun(杨立昆)和 Yoshua Bengio 两位图灵奖得主创立,在深度学习圈子里一直有很高的存在感。自 2013 年首届会议起,它就采用开放式同行评审。当前的 ICLR 2024 正在奥地利维也纳举行,时间是 5 月 7 日到 11 日。
杰出论文奖
论文 1:Generalization in diffusion models arises from geometry-adaptive harmonic representations
- 作者:Zahra Kadkhodaie, Florentin Guth, Eero P Simoncelli, Stéphane Mallat
- 所属机构:纽约大学、Simons Foundation
- 论文链接:https://openreview.net/forum?id=ANvmVS2Yr0
- 获奖理由:这篇论文盯住的是扩散模型里一个老问题:什么时候模型在'记住'输入,什么时候真的开始泛化。作者从几何自适应谐波表征和谐波分析的角度,把这个现象讲清楚了一些,也补上了我们理解视觉生成模型时缺的一块。它不是那种特别炫的工作,但理论上的洞察够扎实。

论文 2:Learning Interactive Real-World Simulators
- 作者:Sherry Yang, Yilun Du, Seyed Kamyar Seyed Ghasemipour, Jonathan Tompson, Leslie Pack Kaelbling, Dale Schuurmans, Pieter Abbeel
- 所属机构:UC 伯克利、Google DeepMind、MIT
- 论文链接:https://openreview.net/forum?id=sFyTZEqmUY
- 获奖理由:这篇工作讨论的是怎么把来自不同机器人的数据汇到一起,训练机器人基础模型。难点不在'数据很多'这件事本身,而在不同机器人有不同的感知和控制接口,数据天然碎片化。UniSim 的做法是用一个统一界面把这些数据接起来,再借助视觉和语言领域的新进展去训练模拟器。更像一项工程能力很强的推进,而不是单点技巧。






