2024 年 ARC 奖 kaggle
2024 年 ARC 奖
创建一个能够解决前所未有的推理任务的人工智能 progress_activity
身份验证处理 本次比赛的您的身份验证正在进行中。请稍后再查看。
刷新
概述
在本次比赛中，你将开发 AI 系统来高效学习新技能并解决开放式问题，而不是仅仅依赖经过大量数据集训练的 AI 系统。顶级提交作品将展示出在人类推理基准方面的进步。
开始 4 个月前
关闭 还有一个月 合并与进入
描述 link keyboard_arrow_up
尽管对大型数据集进行了广泛的训练，但当前的人工智能系统无法推广到训练数据之外的新问题。法学硕士已将人工智能带入主流，用于大量已知任务。然而，通用人工智能 (AGI) 的发展却停滞不前。通用人工智能的改进可以使人工智能系统能够与人类一起思考和发明。
通用人工智能抽象和推理语料库 (ARC-AGI) 基准测试衡量了 AI 系统有效学习新技能的能力。人类在 ARC 中轻松得分 85%，而最好的 AI 系统得分仅为 34%。ARC鼓励研究人员探索 LLM 以外的创意，这些创意严重依赖大型数据集并难以解决新问题。
这项比赛包含几个部分。这里描述的比赛奖金为 100,000 美元，如果任何团队能够超过排行榜上 85% 的分数，则可获得额外的 500,000 美元。Kaggle 之外的更多机会也与相关奖项有关 - 要了解更多信息，请访问。
您的工作可能有助于解决适用于各个行业的新型 AI 问题。大幅改进的 AGI 可能会重塑人机交互。获胜的解决方案将开源，以促进 AGI 领域的透明度和协作。
评估 link keyboard_arrow_up
本次比赛根据正确预测的百分比来评估参赛作品。对于每个任务，您应该为任务中包含的每个测试输入网格准确预测 2 个输出。（任务可以有多个需要预测输出的测试输入。）每个任务测试输出都有一个基本事实。对于给定的任务输出，如果 2 个预测输出中的任何一个与基本事实完全匹配，您将1为该任务测试输出得分，否则0。最终得分是每个任务输出最高得分的平均总和除以任务测试输出总数。
提交文件
本次比赛的提交文件必须为名为 的json submission.json。
对于评估集中的每个任务输出，您应该做出恰好 2 个预测（attempt_1，attempt_2）。预测的结构如下所示。大多数任务只有一个输出（包含在列表中的单个字典），尽管有些任务有多个必须预测的输出。这些应该包含包含在列表中的两个预测字典，如下例所示。当一个任务有多个需要预测的测试输出时（例如，下面的任务12997ef3），它们必须与相应的测试输入的顺序相同。
重要提示：输入挑战 json 文件中的所有 task_id 也必须存在于submission.json文件中。即使您的提交没有 2 个预测，“attempt_1”和“attempt_2”也必须存在。
<span style="color:#000000"><span style="background-color:#ffffff"><span style="background-color:#ffffff"><span style="color:#3c4043"><span style="background-color:#f1f3f4"><span style="color:#3c4043"><code>{<span style="color:green">"00576224"</span>: [{<span style="color:green">"attempt_1"</span>: <span style="color:green">[[0, 0], [0, 0]]</span>, <span style="color:green">"attempt_2"</span>: <span style="color:green">[[0, 0], [0, 0]]</span>}],
<span style="color:green">"009d5c81"</span>: [{<span style="color:green">"attempt_1"</span>: <span style="color:green">[[0, 0], [0, 0]]</span>, <span style="color:green">"attempt_2"</span>: <span style="color:green">[[0, 0], [0, 0]]</span>}],
<span style="color:green">"12997ef3"</span>: [{<span style="color:green">"attempt_1"</span>: <span style="color:green">[[0, 0], [0, 0]]</span>, <span style="color:green">"attempt_2"</span>: <span style="color:green">[[0, 0], [0, 0]]</span>},
{<span style="color:green">"attempt_1"</span>: <span style="color:green">[[0, 0], [0, 0]]</span>, <span style="color:green">"attempt_2"</span>: <span style="color:green">[[0, 0], [0, 0]]</span>}],
...
}
</code></span></span></span></span></span></span>时间线 link keyboard_arrow_up
2024 年 6 月 11 日 - 开始日期
2024 年 11 月 3 日 - 参赛截止日期。您必须在此日期之前接受比赛规则才能参赛。
2024 年 11 月 3 日 - 团队合并截止日期。这是参与者加入或合并团队的最后一天。
2024 年 11 月 10 日 ——最终提交截止日期。
2024 年 11 月 12 日 ——论文奖提交截止日期。
除非另有说明，所有截止时间为相应日期的 UTC 时间晚上 11:59。比赛组织者保留在必要时更新比赛时间表的权利。
奖品 link keyboard_arrow_up
总奖金：1,100,000 美元
- 2024 年进步奖：125,000 美元
- 大奖：60万美元
- 待公布奖金（在上）：375,000 美元
2024 年进步奖
- 本次比赛优秀团队奖金：50,000 美元
- 一等奖：25,000 美元
- 二等奖：10,000 美元
- 三等奖：5,000 美元
- 四等奖：5,000 美元
- 第五名：5,000 美元
- 论文奖奖金：75,000 美元
- 获胜者：50,000美元
- 亚军：20,000 美元
- 第二名：5,000 美元
有关提交和评估的更多详细信息，请参阅
大奖
如果一支队伍在比赛排行榜上达到至少 85% 的准确率，则将获得额外的 600,000 美元大奖。比赛结束时，大奖将按以下方式分配给达到 85% 准确率的前 5 支队伍。如果达到 85% 准确率的队伍少于 5 支，则这些奖金将按比例分配给合格队伍。
- 一等奖：30万美元
- 二等奖：12万美元
- 三等奖：60,000 美元
- 四等奖：60,000 美元
- 第五名：60,000 美元
待公布的奖项（Kaggle 之外） 375,000 美元的额外奖金将稍后在
