实测 6 款国产大模型实用性：长文本与多模态能力横向对比

智谱清言同样交出了一份合格的回答，涵盖了核心重点内容。

商汤商量分为对话大模型和文档大模型，合同需要发给文档大模型处理，两个模型入口可能对用户来说不是很方便，在处理结果上，商汤大模型给出的回答也较为全面。

长文本问答能力实测

我们以汽车出险赔付为例，参照平安保险机动车商业保险条款，了解事故发生后我们该如何进行保险理赔。

Kimi 的回答依旧条理清晰，可行性较高，基本上解决了机动车出现事故后该具体如何操作问题。

讯飞星火的回答同样逻辑清晰，虽没有 Kimi 的解答那么细，但仍旧全盘列出了现场处理要点以及注意事项。

文心一言的回复相对而言比较泛泛而谈，无法一步到位直接解决当下的问题。

通义千问的回答同样有着不错的实用性，基本涵盖了事故发生后需要进行的操作。

商汤商量的回答较为全面，依然需要在文档大模型中单独使用，操作上略有不便。

智谱清言在此问题上的回答虽然相对简略，但同样涵盖了核心步骤。

长文本生成能力实测

在具体的应用场景中，长文本除了识别与归纳，最核心的功能，就是生成功能了。这里我们设定需要这些大模型生成一份人工智能产业报告（2023）。

在长文本生成方面，Kimi 仍旧呈现出了显著的专业性，不仅内容探讨方向更加丰富，且专业内容扎实，实用度高，几乎可直接拿来做报告的初步提纲。

讯飞星火的文本生成能力同样可圈可点，虽在条理性上略逊 Kimi 一筹，但展现出了更强的文采能力。

相比较之下，文心一言的学术性能力就稍逊一筹，产出的内容较为简单、基础，很难直接使用。

通义千问的回答稍微有一点文不对题，虽然给出了一张封面，但具体内容可用性较弱。

商汤商量生成的报告，在结构上比较完整，并涵盖了当前领域中的专业术语。

在长文本生成方面，智谱清言的回答中规中矩，有简单的基础信息，但还是专业度不足。

长图文、长语音，谁在抢跑多模态大模型

在大模型参数已经卷无可卷的当下，越来越多企业正在从细分方向突出重围，以让人们感觉大模型的好用之处。除了前文提及的长文本，多模态也是一个关键的研究方向。

对于人来说，多模态是一种十分自然的交互模式。但对于计算机来说，多模态却是极其复杂且困难的。

例如，随着 CNN 技术的突破，一度带动了人脸识别、视频识别技术的广泛应用，准确率可以远超人类，但该项技术却难以在文本理解方面取得显著的突破。直到 2023 年，大语言模型掀起了新一轮技术迭代，典型代表如 ChatGPT，才使得 AIGC 再度向前迈进了一步，但以上多项技术突破，仍旧是以单模态见长。

所以可以认为，当下能够处理更多模态信息的如文字、图像、视频、语音等多模态大模型，可以更加灵活自如的与人们交流互动，也就更加接近真正意义上的 AGI。

4 月底讯飞星火 3.5 的更新，就在努力朝这一方向演进。不久前商汤日日新 5.0 也刚刚更新，提升的核心指标也包括多模态能力，号称图文感知能力达到全球领先水平。通义千问与文心一言目前也均有多模态模型。Kimi 方面，实际上在 Sora 于今年初惊艳亮相之后，其内部就在推进多模态模型的研发，其联合创始人周昕宇表示，预计 2024 年会推出多模态模型及产品，但截至目前，相关产品仍未面世，可以说，在多模态能力方面，Kimi 已经晚了一步。

凤凰网科技也就目前已经发布的几款大模型的多模态处理能力，进行了综合实测。

比如我们上传了一张小米 su7 发布会的 PPT 实拍图，让大模型对该页 PPT 进行重点总结。

讯飞星火准确的识别出了该张 PPT 中的重点信息，与此同时，对部分信息进行了推理，在多模态能力上呈现出了部分优势。

智谱也准确识别出 PPT 的信息，并在最后进行总结。

商汤商量识别出了 PPT 中的主要文字信息，对于图片的识别能力稍逊色了一点点。

通义千问和商汤的表现相近，整理了图片中的文字内容，但分析和归类能力较弱。

文心一言涉及了部分推理演绎，不过理解有部分错误，比如将 800cltc 续航里程和时速搞混了。

再比如我们在日常生活中有非常多辅导孩子学习的场景，我们截取了一张初中数学题的图片，交给大模型进行识别并给出解题思路。

商汤商量识别出了文字内容，并进行了解题，但解题思路有误，把长方形的长和宽搞错了，直接给出了错误答案。

讯飞星火不仅精准的识别出了图片中的文字，并给出了十分精准且正确的解题思路。如果在日常辅导孩子学习的场景下，非常实用。

通义千问、文心一言和智谱清言的解题思路基本相近，但逻辑上不是特别清晰，对于辅导来说，比较难教给孩子清晰、有逻辑的解题思路。

同样在图文识别方面，我们上传了 2023 年世界人工智能大会的议程，希望大模型能帮忙整理一份重点。

文心一言识别的很全面细致，但归纳重点的能力稍逊。

讯飞星火的内容识别凝练且主次分明，看起来更加方便。

通义千问的信息提取较为全面，但缺乏对重要信息的筛选和过滤。

商汤商量则将图片中的所有文字进行了提取，基本是原封不动的进行了复述。

智谱清言的识别最为丰富，对论坛信息进行了突出显示。

在音视频识别层面，目前业内布局尚不多：

我们上传了 2020 东京奥运会，乒乓球男单决赛樊振东与马龙对决的视频片段，让大模型为我们整理下视频的核心内容：

讯飞星火对该视频内容进行了简要解析，并复述了该段落的核心内容。

智谱清言则直接表示无视频分析能力。

实际上，目前文心一言、通义千问、商汤商量等均不支持音视频的上传与解析。

在音视频这类十分多见的应用场景中，讯飞星火已经有了显著的领先性。

基因虽不同，但好用才是正义

当下，越来越多人开始追求大模型实用与否，尤其是在学习、办公、日常生活等常见场景下的具体应用。

可以看到，在长文本、长图文与长语音方面，几款国产大模型已经基本上有了显著差异，比如 Kimi 的确在长文本方面展现出了较强的能力，但遗憾的是，多模态能力的缺失，让 Kimi 的使用场景有显著的短板。

此外，加强后的商汤商量、讯飞星火，在多模态上已经比通义千问、文心一言的表现更亮眼一些，尤其是讯飞星火，本就有更强的逻辑推理能力和数学能力，加上多模态能力的提升，除了准确的识别文字，还能对音视频文件进行处理，应用场景更为广泛。

经过长文本识别与生成能力、多模态输入和识别能力、数理能力等几个维度，得出测试结果如下：

随着大模型的竞争进入新一层，各家已不再盲目追求参数，对于许多人而言，大模型之争，归根结底是要回归可用性，不然就是对算力资源的极大浪费。

当下，不管是大人辅导小孩学习、打工人整理会议记录、还是学生党整理学习笔记等应用场景，大模型正与人们的生活产生越来越多联系，而告别无意义的内卷，为人们创造更多实用价值，才是大模型技术发展所追求的目标。