一周科技热点：苏姿丰谈芯片多元化，Gartner 预测 GenAI 趋势

清华团队推出多模态科学推理能力评估基准 VisScience

来自清华大学、北京航空航天大学和智谱的研究团队提出了 VisScience 综合基准，用于评估数学、物理和化学三大学科的多模态科学推理能力。该基准由 3000 个问题组成，从小学到高中，平均分布在三个学科中，每个学科有 1000 个问题，涵盖 21 个不同的学科，分为五个难度级别。他们对 25 种具有代表性的 MLLM 在科学推理中的表现进行了详细评估，结果表明，闭源 MLLM 通常优于开源模型，并凸显了 MLLM 的优势和局限性，提出了未来需要改进的地方，强调了开发能有效处理多模态科学推理的各种需求的模型的重要性。

OpenAI o1 医学初步研究：我们离 AI 医生更近了吗？

来自加州大学圣克鲁斯分校的研究团队及其合作者对 o1 在不同医疗场景中的表现进行了全面探索，考察了三个关键方面：理解、推理和多语言性。具体来说，他们使用 37 个医学数据集的数据对 6 个任务进行了评估，其中包括两个基于《新英格兰医学杂志》和《柳叶刀》的专业医学问答而新构建的更具挑战性的问答（QA）任务。与 MedQA 等标准医学问答基准相比，这些数据集具有更强的临床相关性，能更有效地转化为现实世界中的临床实用性。他们对 o1 的分析表明，LLM 增强的推理能力可能（显著）有利于他们理解各种医疗指示和推理复杂临床场景的能力。但与此同时，他们也发现了模型能力和现有评估协议中的几个弱点，包括幻觉、多语言能力不一致以及评估指标不一致。

Time-MoE：十亿级规模时间序列基础模型

来自普林斯顿大学、松鼠 AI 和格里菲斯大学的研究团队推出了 Time-MoE，这是一种可扩展的统一架构，旨在预训练规模更大、能力更强的预测基础模型，同时降低推理成本。通过利用稀疏混合专家模型（MoE）设计，Time-MoE 在每次预测中只激活网络的一个子集，从而提高了计算效率，在保持高模型容量的同时减少了计算负荷。这使得 Time-MoE 能够有效扩展，而推理成本不会相应增加。他们首次将时间序列基础模型的参数扩展到 24 亿个，显著提高了预测精度。结果验证了时间序列预测中训练 token 和模型大小的 Scaling Law 的适用性。

视觉大语言模型的视觉提示新技术

新加坡国立大学团队提出了一项新提示技术——Attention Prompting on Image，该技术只需在原始输入图像上简单叠加一个文本查询引导的注意力热图，就能有效增强视觉大语言模型（LVLM）在各种任务中的能力。在各种视觉语言基准上进行的大量实验验证了该技术的有效性。例如，在 MM-Vet 和 LLaVA-Wild 基准测试中，图像注意力提示技术分别将 LLaVA-1.5 提高了 3.8% 和 2.9%。

Google DeepMind 推出鲁棒奖励模型 RRM

来自 Google DeepMind 的研究团队及其合作者揭示了当前奖励模型（RM）训练方法的一个局限，即 RM 在确定偏好时无法有效区分上下文信号和无关人工痕迹。为了解决这个问题，他们提出了一个因果框架，该框架可以学习独立于这些人工痕迹的偏好，并提出了一种新颖的数据增强技术，旨在消除这些人工痕迹。

他们的方法成功地过滤了不需要的人工痕迹，产生了一个鲁棒奖励模型（RRM）。在 RewardBench 上，RRM 提高了在 Gemma-2-9b-it 上训练的成对奖励模型的性能，准确率从 80.61% 提高到 84.15%。此外，他们还使用 RM 和 RRM 训练了两种 DPO 策略，结果表明 RRM 显著提高了 DPO 对齐策略的性能，将 MT-Bench 分数从 7.27 提高到 8.31，将 AlpacaEval-2 中的长度控制胜率从 33.46% 提高到 52.49%。

HyperAgent：解决大规模编码任务的通用软件工程智能体

FPT Software 推出了一种新型通用多智能体系统 HyperAgent，旨在通过模仿人类开发人员的工作流程，解决不同编程语言的各种 SE 任务。该系统由 Planner、Navigator、Code Editor 和 Executor 四个智能体组成，可管理 SE 任务从最初构思到最终验证的整个生命周期。

HyperAgent 在各种 SE 任务中实现了 SOTA 性能：在 GitHub 问题解决方面，HyperAgent 在 SWE-Bench-Lite 上的成功率为 25.01%，在 SWE-Bench-Verified 上的成功率为 31.40%，超过了现有方法。此外，HyperAgent 还在版本库级代码生成（RepoExec）、故障定位和程序修复（Defects4J）方面展示了 SOTA 性能，表现往往优于专业系统。

语言智能体帮助大语言模型更好、更便宜地'思考'

圣路易斯华盛顿大学团队通过建立一个自主智能体来指导 LLM 的推理过程，提供了一种成本效益更高的大语言模型思维器供大众使用。该智能体可为每项任务生成一组指令，而这些指令对于改善不同语言模型在所有任务实例中的推理过程非常有效。给定基本任务信息（如数据集名称）和一些纯输入示例后，智能体就会生成高质量的分步任务指令。这些指令将指导小型 LLM 对某些任务进行推理。这是一种更经济实惠的方法，因为他们只需对每个数据集使用一次大型 LLM，然后将指令交给可以接手的小型 LLM。

03 政策法规

好莱坞大力支持加州人工智能安全法案

在加州首部人工智能安全法案 SB 1047 的争斗中，好莱坞与硅谷势均力敌。在州长 Gavin Newsom 是否会签署该法案的疑虑中，一大波明星的支持标志着首次有组织的名人努力推动人工智能法规超越娱乐业的直接利益。日前，超过 125 位好莱坞大牌明星发表了一封公开信，敦促 Newsom 签署人工智能安全法案。信中写道，'我们完全相信人工智能在造福人类方面的巨大潜力。但我们也必须面对现实的风险。'

美国劳工部发布人工智能和包容性招聘框架，避免招聘歧视

日前，美国劳工部推出了一个新网站，指导雇主和工人如何确保人工智能技术不会导致歧视或限制残疾求职者的无障碍环境。该指南是与拜登总统关于人工智能安全发展的行政命令相关的最新发布。劳工部表示，新的自愿性'人工智能与包容性招聘框架'将'帮助各组织推进其包容性招聘政策和计划，特别是针对残疾人的政策和计划，同时管理与部署人工智能招聘技术相关的风险'。该指南建议雇主在工作场所'负责任地'实施人工智能，具体做法包括确定法律要求、制定人工监督流程、对技术进行分类等。

OpenAI、微软、谷歌等签署欧盟《人工智能公约》

据财联社报道，欧盟委员会当地时间 9 月 25 日公布了《人工智能公约》（AI Pact）的首批 100 多家签署方名单，该协议旨在促使企业就如何处理和部署人工智能发布'自愿承诺'。虽然欧盟《人工智能法案》（the AI Act）已于上月生效，但所有合规期限还需数年才能实施。这就造成了一个不合规的真空地带，欧盟希望通过《人工智能公约》来填补这一真空。目前欧盟委员会公布的签署方名单包括 OpenAI、微软、谷歌等，但不包括苹果和 Meta。

04 专家观点

苏姿丰：芯片行业不能只盯着 GPU

据《科创板日报》报道，AMD 首席执行官苏姿丰日前表示，GPU 目前是大语言模型的首选架构，因为它们在并行处理方面非常高效，但它们在可编程性方面有所欠缺。她预计，未来 5 年或 7 年时间内 GPU 还不会'失势'，但会出现 GPU 以外的新势力。她表示，未来的 AI 模型将使用不同类型芯片的组合，包括当前占主导地位的 GPU 以及仍有待开发的更专门化的芯片，从而实现各种功能。

贝恩公司：AI 相关产品市场有望在 2027 年达到 9900 亿美元

日前，贝恩公司表示，全球人工智能（AI）相关产品市场持续增长，规模有望在 2027 年达到 9900 亿美元，这项技术的快速应用正在改变企业和经济。该咨询公司在发布的第五次年度全球科技报告中表示，包括 AI 相关服务和硬件在内的市场将在去年 1850 亿美元的基础上每年增长 40%-55%，这将带来 7800 亿至 9900 亿美元的收入。

Gartner 发布 2024 年新兴技术成熟度曲线：GenAI 即将越过期望膨胀期

日前，Gartner 发布了 2024 年新兴技术成熟度曲线，此次收录的 25 项颠覆性技术分为四大领域：自主 AI、开发者生产力、全面体验以及以人为本的安全和隐私计划。

Gartner 杰出研究副总裁 Arun Chandrasekaran 表示：'随着企业的关注重点继续从基础模型转向可提高投资回报率的用例，生成式人工智能（GenAI）即将越过期望膨胀期。这一趋势正在加速自主 AI 的发展。虽然目前的 AI 模型缺乏自主行动能力，但各 AI 研究实验室正在快速推出智能体，借助智能体与环境之间的动态交互来实现目标，不过这将是一个循序渐进的过程。'

05 其他

Hugging Face 上诞生了 100 万个人工智能模型

日前，人工智能（AI）托管平台 Hugging Face 上的人工智能模型数量首次突破 100 万个，这标志着快速扩张的机器学习领域的一个里程碑。人工智能模型是一种计算机程序（通常使用神经网络），通过数据训练来执行特定任务或进行预测。该平台在 2016 年以聊天机器人应用起步，2020 年转向成为人工智能模型的开源中心，现在为开发人员和研究人员提供了大量工具。机器学习领域所代表的世界远不止 ChatGPT 所支持的大型语言模型（LLM）。

微软亚洲研究院牵手'600 号'，用 AI 干预阿尔茨海默症治疗

据财联社报道，微软研究院与上海市精神卫生中心（俗称'600 号'）携手展开联合研究，基于微软 Azure OpenAI 服务中的多模态大模型，开发了个性化认知训练框架'忆我'（ReMe），扩展了自动化认知训练的训练范围，为数字化认知训练提供了新方法，有望帮助延缓认知下降。

AI 模型会比人类研究员产生更多原创性想法吗？

本月在 arXiv 上发表的一篇预发表论文显示，由大语言模型（LLM）驱动的创意生成器比 50 位独立工作的科学家提出了更多的原创研究创意。结果表明，LLM 可能能够产生比现有文献中的创意更具有原创性的创意。但它们能否击败人类最具突破性的想法，这还是个未知数。

黑客在 ChatGPT 中植入虚假记忆，永久窃取用户数据

安全研究员 Johann Rehberger 最近报告了 ChatGPT 中的一个漏洞，允许攻击者在用户的长期记忆设置中存储虚假信息和恶意指令，OpenAI 立即关闭了该调查，并将该漏洞标注为安全问题，而非技术上的安全问题。于是，Rehberger 创建了一个概念验证漏洞，利用该漏洞永久窃取所有用户输入。目前，OpenAI 工程师已经注意到了这一点，并于本月早些时候发布了部分修复程序。

罕见基因变异如何影响健康？人工智能提供更准确的预测

我们是否容易患上特定疾病，在很大程度上取决于我们基因组中的无数变异。然而，特别是在人群中极少出现的基因变异，对某些病理特征表现的影响至今难以确定。科学家推出了一种基于深度学习的算法，可以预测罕见基因变异的影响。通过这种方法，可以更精确地分辨出疾病高危人群，并有助于识别与疾病发生有关的基因。

AI 可以更好地预测乳腺癌风险

来自哥本哈根大学团队的研究表明，一项新的人工智能（AI）技术可以被用来更准确地预测患乳腺癌的风险，从而为全球妇女提供更好的治疗。乳腺癌是最常见的癌症之一。2022 年，这种疾病导致全球 67 万人死亡。据介绍，人工智能可以通过扫描外观不规则的细胞来帮助妇女改善治疗，从而提供更好的风险评估。该技术在预测癌症风险方面远远优于目前的乳腺癌风险评估临床基准。

AI 帮助考古学家发现 303 个未知地画

来自日本山形大学和 IBM Research 的研究团队，借助人工智能（AI）在秘鲁纳斯卡线条附近发现了数百个新的地画，这些地画描绘了鹦鹉、猫、猴子和虎鲸等，这一发现使这个有着 2000 年历史的神秘考古遗址的已知图形数量增加了近一倍。他们发现了 303 个以前未知的人类和动物地画——所有这些地画的尺寸都小于巨大的几何图案，这些图案可以追溯到公元 200-700 年，横跨纳斯卡高原 400 多平方公里的土地。这些新的雕像可以追溯到公元前 200 年，让人们对帕拉卡斯文化向纳斯卡文化的过渡有了新的认识。