继 OpenAI o1 成为首个达到 Kaggle 特级大师的人工智能模型后，另一个 Kaggle 大师级 AI 也诞生了。根据 Kaggle 的晋级系统，由华为诺亚方舟实验室和伦敦大学学院团队联合推出的端到端自主数据科学智能体（agent）——Agent K v1.0，已经能够获得 6 枚金牌、3 枚银牌和 7 枚铜牌。
据介绍，Agent K v1.0 具备动态、多步骤处理复杂问题的能力，通过动态管理记忆并从经验中持续学习，能够完全自动化数据科学流程，并在不依赖微调的情况下，通过环境反馈不断优化决策，实现对各种数据科学任务的自动化、优化和泛化。
Agent K v1.0：一个自主数据科学智能体
当前，虽然大语言模型（LLM）在自然语言交互方面展现优秀性能，但如何使 LLM 能够基于智能体处理具有序列或并行任务模块的系统性数据科学任务，构建能对各种数据科学任务进行自动化、优化和泛化的 LLM 智能体，从而实现动态、多步骤的问题解决仍然是个挑战。
为解决这个问题，研究团队提出了一个灵活的基于经验学习推理的替代框架，借鉴了强化学习中的马尔可夫决策过程（MDP）概念，不过其独特性在于引入了结构化推理和长期记忆机制。这一创新举措避免了传统思维链或思维图方法对反向传播和微调的依赖，使得智能体能够在不更改 LLM 核心参数的情况下，实现动态学习与适应。
在 Agent K v1.0 的框架体系中，智能体具备三种类型的动作，分别为长期记忆动作、内部动作以及外部动作。长期记忆动作用于对外部数据库的内容进行管理，将过往经验转化为指导当下决策的珍贵信息；内部动作则旨在更新工作记忆，塑造智能体的推理过程；外部动作直接与环境进行交互，执行任务并获取奖励。
智能体通过与环境的互动，收集状态、工作记忆以及外部数据库的轨迹信息。随后，利用 LLM 的内部策略来更新工作记忆和长期记忆。这些策略能够依据环境反馈，动态调整智能体的推理过程，使其可以根据具体情况做出最优决策，从而最大限度地实现回报。
总体而言，Agent K v1.0 的学习框架凭借结构化推理和长期记忆机制，达成了 LLM 在复杂数据科学任务中的高效学习与适应，为构建自动化、高效且可扩展的数据科学智能体开辟了崭新的途径。
此外，Agent K v1.0 具有全新的自动化数据科学任务处理方式。
首先，在数据科学任务设置的自动化阶段，Agent K v1.0 能够将数据科学任务精细分解为多个阶段，如数据抓取、数据摘要、模态检测、数据预处理以及特征工程等。同时，利用单元测试对每个阶段的正确性进行严格验证。而当单元测试失败时，Agent K v1.0 会利用 LLM 生成解释错误原因的思考，并依据这些思考重新执行之前步骤，直至找到并修复错误。
之后，在数据科学任务解决的优化阶段，Agent K v1.0 根据任务所涉及的模态类型，选择不同的工具和方法生成解决方案。对于表格数据任务，它使用 AutoML 工具自动生成预测；对于计算机视觉、自然语言处理和跨模态任务，则采用深度神经网络模型。此外，它还集成了多种工具，如 HEBO 进行超参数优化，以及利用 HuggingFace 的 Torchvision 和 Torchtext 库处理不同模态的数据。
不仅如此，Agent K v1.0 在多任务和持续学习方面也表现出色。它可以处理多个不同领域的数据科学任务，通过共享长期记忆实现知识迁移。同时，它会根据之前的经验选择下一个任务，构建难度逐渐增加的课程，以实现持续学习和知识积累。
为了客观评估 Agent K v1.0 的性能，研究团队构建了一个基于 Kaggle 竞赛的竞争性数据科学基准。该基准涵盖了 Kaggle 平台上多达 65 个多样化的数据科学任务，涵盖表格数据、计算机视觉、自然语言处理以及跨模态任务等多个领域。
此外，该基准还评估了 Agent K v1.0 自动设置数据科学任务的能力，涵盖数据抓取、数据预处理、特征工程和模型训练等步骤。并通过单元测试来验证每个阶段的正确性，并评估智能体在不同模态和任务类型上的自动化成功率。
在性能评估方面，该基准使用 Kaggle 平台的公开和私有分数来评估 Agent K v1.0 的性能。根据 Kaggle 的排名系统，将智能体的表现与其他 Kaggle 用户进行比较，并计算其 Elo-MMR 积分，以评估其在 Kaggle 用户群体中的相对位置。
为确保公平比较，该基准考虑了竞赛规模，不同竞赛的参与者和提交数量可能不同，因此需使用 Elo-MMR 积分来进行比较；以及竞赛类型，社区竞赛、练习场竞赛和特色竞赛的难度和竞争程度不同，因此需使用 Kaggle 的排名系统来进行评估。
Kaggle 大师级水平 AI 智能体
研究团队还在 65 个 Kaggle 竞赛中对 Agent K v1.0 进行了测试。这些比赛可以由智能体自主设置，并且可以生成至少一个提交。与之前的工作不同，测试遵循了标准的 Kaggle 竞赛指南，其中智能体创建一个提交文件，并使用 Kaggle API 自动提交其解决方案。
智能体的解决方案在提交后被评估和排名在排行榜上，其性能将与参与者进行量化比较。为了确保公平性，这些量化指标基于可用的私人排行榜，并且仅使用公共排行榜结果来决定保留的提交，这反映了据科学家在 Kaggle 平台上的标准做法。
为了提高其性能，Agent K 使用基于内部训练数据拆分的验证损失。该损失和智能体内存中已有的代码帮助 LLM 反思并生成更成功的代码，最终提高其排名。
根据 Kaggle 的评估方法，Agent K v1.0 获得了相当于 6 枚金牌、3 枚银牌和 7 枚铜牌的成绩。整体表现与 Kaggle 高级用户相当，甚至超过了部分顶级 Grandmaster 用户的水平。在 22 个任务中，Agent K v1.0 取得了超过 80% 的量化指标，在 62% 的竞赛中取得了超过 50% 的量化指标。
