字节扣子搭建大模型擂台:匿名 PK 与用户评价机制
字节跳动推出扣子平台模型广场功能,引入类似 Chatbot Arena 的匿名 PK 模式。用户可对两个匿名大模型的生成结果进行投票,从而评估模型性能。该功能支持随机 Bot 对战、指定 Bot 对战及纯模型对战三种模式,旨在通过人类反馈替代传统静态基准测试。此外,文章详细介绍了在扣子平台上创建 Bot 的简易流程,涵盖模型选择、技能插件配置及发布步骤。这种人机协作的评价体系有助于降低 AI 应用开发门槛,推动生态发展。

字节跳动推出扣子平台模型广场功能,引入类似 Chatbot Arena 的匿名 PK 模式。用户可对两个匿名大模型的生成结果进行投票,从而评估模型性能。该功能支持随机 Bot 对战、指定 Bot 对战及纯模型对战三种模式,旨在通过人类反馈替代传统静态基准测试。此外,文章详细介绍了在扣子平台上创建 Bot 的简易流程,涵盖模型选择、技能插件配置及发布步骤。这种人机协作的评价体系有助于降低 AI 应用开发门槛,推动生态发展。

字节跳动的扣子(coze.cn),近期为国产大模型们组了个大局——在同一个'擂台'上,两个大模型为一组,直接以匿名的方式 PK 效果!

例如我们对两位参赛'选手'同时提问今年高考的作文题目:
阅读下面的材料,根据要求写作。(60 分)
随着互联网的普及、人工智能的应用,越来越多的问题能很快得到答案。那么,我们的问题是否会越来越少?
以上材料引发了你怎样的联想和思考?请写一篇文章。
要求:选准角度,确定立意,明确文体,自拟标题;不要套作,不得抄袭;不得泄露个人信息;不少于 800 字。
点击问题的一瞬间,两位'选手'便立刻开始作答:

不难看出,两个大模型不论是在生成答案的速度,或是内容的侧重上均有所不同。直到有一方作答完毕,这时候我们就可以开始投票了,一共有四个选项可选:

在这个案例中,因为生成速度相似,我们姑且以个人文字审美为标准,先将票投给大模型 A。
投票结束后,两位'选手'的庐山真面目也就揭晓了,分别是通义千问(A)和智谱(B)。

这便是字节跳动的 AI 应用开发平台扣子上新的玩法——模型广场。这种打擂台的模型,与此前国外极具权威性的大模型擂台Chatbot Arena类似。它同样是通过用户的参与,匿名两个模型,根据生成内容的表现来打分。

而且这种模式还得到了 AI 大神Karpathy的高度认可:
是我唯二信任的测试基准之一。

不过有一说一,扣子能让自家'院子'里的大模型们玩这种模式,也是实属罕见。那么模型广场具体又该如何操作?是否能够 hold 住脑洞大开的问题?我们这就来实测一波。
我们现在打开扣子的官网(coze.cn),点击左侧的导航栏**'探索'列表中'模型广场'**,便可开始体验了。

整体来看,对战的模式一共分为三大类:
刚才我们所展示的 PK 案例,就是点击**'随机开始'按钮而来,也就是随机 Bot 对战**。具体而言,扣子会从已经上架的 Bot 中随机挑选一个,然后选择匿名的两个大模型进行 PK。这个模式考验的便是大模型们在任意业务场景下的文本生成、技能和知识调用等能力。
例如我们再来体验一番,这一次的场景就变成了数学老师,我们选择的问题:
某班 30 人中有 15 人参加数学建模竞赛,有 8 人参加数学竞赛,有 6 人参加英语竞赛,有 3 人三科竞赛都参加,请问三科竞赛都不参加的至少有多少人?

我们按照生成结果的简洁性,这次把票投给模型 B,可以看到这次参赛的'选手'分别是通义千问(A)和MiniMax(B)。

而指定 Bot 对战,则是需要我们先在模型广场下方的众多 Bot 中挑选一个要测试的场景,然后扣子再从系统中选择匿名的两个大模型来 PK。这个模式在业务场景方面就会更加聚焦和细分。
例如我们在茫茫 Bot 中,一眼就相中了**'弱智吧十年练习生'**:

这一次我们自己来提问:
被门夹过的核桃,还能补脑吗?

从答案中不难看出,两位'选手'都没有 get 到这句话里隐藏的'你脑袋被门夹了'的梗,因此——

两个都差。

最后一个模式便是纯模型对战——忽略编排等各种 Bot 配置的影响,直接评估大模型的文本生成能力。

我们依旧'弱智吧 Style':
高考满分才 750,怎么才能考 985?

两个大模型都精准 get 到了 985 是什么意思,因此依旧是——

两个都好。

值得一提的是,无论在哪种模式之下,'选手'如果在回答问题过程中暴露了自己的身份,那么用户所投出的票将被视为无效。
以上便是扣子给国产大模型们打擂台匿名 PK 的三种模式了。而纵观扣子此次的新发布,除了大模型本身之外,另外一个关键要素便是 Bot。并且若是亲身体验一番下来,在扣子中创建 Bot 这件事,最为直接的感受就是够简单、够丰富。
其实模型广场是一个名叫**'扣子 AI 工坊'**(Coze AI Factory)活动的内容之一,是由扣子和英特尔联合推出的主题 Bot 征集活动。聚焦的是图文创作、实用工具、互动创意三个赛道。
但如果来到扣子的**'Bot 商店',就不难发现,这里的 Bot 们并非是一尘不变的那种;相反,倒是非常紧跟热点,非常 fashion。例如正值刚刚高考完,Bot 商店首页的'头条位置'留给的就是一个名叫'高考专业指南'**的 Bot,可以说是相当的应景。

除此之外,像**'国内高校百科'和'测测你的本命粽子'等 Bot,也是紧跟热点和节假日。而且 Bot 的数量之多,简直是刷不到底**:

但比起数量来说,更重要的还是在扣子中创建复杂的 Bot,仅需鼠标'点点点',就连小朋友都能完成。
第一大步,点击创建 Bot,简单填写基本信息:

这一步主要定义 Bot 的名称、描述以及头像,是用户识别 Bot 的第一印象来源。
第二大步,选择自己想要用的大模型:

目前可选的大模型包括豆包、通义千问、智谱、MiniMax、月之暗面和百川。不同的模型在逻辑推理、创意写作或代码生成上各有优劣,开发者可根据应用场景灵活切换。
第三大步,给 Bot 添加**'技能点'**,同样是'点点点'的操作,就能在扣子已经拥有的海量插件、工作流等内容里 pick 自己想要的那一个。

这里可以接入搜索插件、知识库检索、API 调用等功能,极大地扩展了大模型的能力边界。例如,通过接入联网搜索插件,Bot 可以获取实时新闻;通过接入知识库,Bot 可以基于企业内部文档回答问题。
最后,一键'发布',就可以上线想要拥有的 Bot。在发布前,建议先在预览窗口进行多轮对话测试,确保 Prompt 工程和插件配置无误。
操作之简单,也就不难理解为何扣子上 Bot 的数量会如此惊人了。
传统的 LLM 评测往往依赖静态数据集(如 MMLU、GSM8K 等),但这些数据集存在数据泄露和泛化性不足的问题。随着模型能力的提升,单纯依靠固定题库已难以区分模型的真实水平。
Chatbot Arena 及类似的模型广场引入了 Elo 评级系统,通过成对比较和人类投票,构建了一个动态的、反映真实用户偏好的排行榜。这种方式更接近于 RLHF(人类反馈强化学习)中的奖励信号来源,能够捕捉到模型在长文本连贯性、指令遵循度、安全性等方面的细微差异。
此外,这种模式还得到了 Jeff Dean 和李开复等行业领袖的高度认可。一言蔽之,字节要做的,就是把 AI 应用开发门槛打下去,把生态壮大起来,让 AI 应用能'多快好省'地用起来。
我们再回到这次扣子新发布的模型广场,也正如我们在文章最开始提到的,这种把擂台玩法嵌入到自家大模型应用开发平台的,目前在业界算是少见。那么,字节为什么要这么做?
首先从效果层面来看,从刚才我们创建 Bot 的过程中不难发现,它所依赖的能力最根本的就是来自扣子生态中所集成的大模型们。而也正如业界已达成的共识那样——没有一个大模型能够'一统天下',每个大模型都有自己的擅长之处。加之每个 Bot 也都是在细分场景里各有侧重,因此合适的 Bot 遇到合适大模型,势必将产生 1+1>2 的效果。
其次从操作层面来看,模型广场的出现着实是为 Bot 开发者节省了挨个模型比对、试错的成本。这无疑是给本就操作简易的扣子在操作上锦上添花。
最后是在可信度层面上,扣子所 pick 的类似 Chatbot Arena 的擂台模式,已然成为业界对大模型性能认可度的标杆。毕竟除了前文提到的 Karpathy 之外,Jeff Dean 和李开复也对这种模式给予过高度的认可。
扣子地址:coze.cn

微信公众号「极客日志」,在微信中扫描左侧二维码关注。展示文案:极客日志 zeeklog
生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online
基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具,Base64 文件转换器在线工具,online
将 Markdown(GFM)转为 HTML 片段,浏览器内 marked 解析;与 HTML转Markdown 互为补充。 在线工具,Markdown转HTML在线工具,online
将 HTML 片段转为 GitHub Flavored Markdown,支持标题、列表、链接、代码块与表格等;浏览器内处理,可链接预填。 在线工具,HTML转Markdown在线工具,online