百度为何不做 Sora：解析其多模态技术路线与 iRAG 策略
当 ChatGPT 掀起国内'百模大战'，百度率先交卷文心一言。Sora 再掀视频生成风潮，却传出李彦宏内部讲话称'Sora 无论多么火，百度都不去做'。一时间，困惑、不解、争议纷至沓来。面对这些声音，在刚刚结束的百度世界大会会后采访中，李彦宏公开回应。他不仅重申了不做 Sora 的决定，并且说明了百度是如何运用和发展多模态的。
在大会发布中，李彦宏发布了百度从年初开始重点攻克的 iRAG 技术，这项技术旨在解决 AI 领域最棘手的'幻觉'问题。有趣的是，这个开始正好是在 Sora 风正热之时。百度的选择背后原因，到底是什么？
加速解决幻觉问题
先从 iRAG 技术看。它所解决的是图片生成的幻觉问题。在年初，不做 Sora，转头将资源放在幻觉解决上。为什么？结合这届百度世界大会主题'应用来了'来理解：幻觉已经成为制约大模型应用大规模落地的一大绊脚石。
现代社会对计算器已有绝对的信任，只要保证输入是对的，就可以百分百放心地把计算结果用到下一步工作流程中。但对于已知可能存在幻觉的大模型来说，还敢给予同等的信任吗？有幻觉，即意味着模型行为不完全可控，不能完全放心的自动化工作流程，依然需要人工介入。AI 应用正面临这样的困境。
事实上，ChatGPT 问世之后，大模型的几个主要改进方向都是通过不同方式来解决大模型幻觉问题：
- 长上下文窗口：让模型获取更完整的输入，减少因信息不全产生的错误推理。
- RAG（检索增强生成）：检索外部知识库补充信息，弥补模型参数存储知识的不足。
- 联网搜索：获取实时、动态的在线信息，扩展模型的知识边界。
- 慢思考：通过分步推理减少直觉性错误，提高推理过程的可解释性。
- 多模态技术：让模型多一种信息输入途径，不用在'看不见'视觉信息的情况下为了完成任务凭空编造。
所以再次总结一下，为什么解决幻觉问题是目前 AI 行业的当务之急？
- 从技术层面：不解决幻觉问题就难以预测和控制模型的行为边界。
- 从应用的角度来看：幻觉问题阻碍了用户对 AI 产品的信任。
- 从产业角度：解决了幻觉问题才能扩大 AI 可应用的场景范围，提高 AI 系统的商业价值。
再将目光转向百度，解决 AI 幻觉问题，恰恰也是百度的'主战场'。iRAG，全称 Image-based Retrieval-Augmented Generation，是一种全新的检索增强文生图范式，结合了百度多年的搜索积累，帮助大幅提升图片的生成可控性和准确性。
其核心是将百度搜索的亿级图片资源与文心大模型的生成能力相结合，通过联合优化，让生成图片更加真实可信。具体而言，iRAG 先利用检索模块在海量图库中找出与文本描述最相关的若干图片，然后提取其视觉特征，与文本特征一并输入到生成模块。生成模块在此基础上，对图像进行理解、重组、创新，最终输出高质量、符合需求的全新图片。
可以说，iRAG 巧妙地将认知智能（检索）与生成智能（创作）结合在一起，取长补短，相得益彰。一方面，海量图像的参考让生成更'接地气'，大幅减少了幻觉、违禁内容等问题。另一方面，强大的生成能力让输出图片更多样、更具创意，远非单纯的拼贴、修改那么简单。
更重要的是，iRAG 在诸多行业领域都具有广阔应用前景，尤其能显著降低 AI 生图的创作成本。比如在影视制作、动漫设计中，iRAG 可实现从文本脚本直接生成高质量的分镜、概念图，大幅减少中间环节的人工干预。
多模态，不止 Sora 一条路
明确了幻觉问题是 AI 行业的优先级，百度还需要回答另一种质疑：多模态已经是公认迈向 AGI 的重要一步。多模态有助于增强 AI 系统的感知和理解能力。通过处理视觉、语音、文本等不同模态的信息，AI 可以更全面地感知环境，增强其认知和交互能力，与人类通过多种感官认知世界保持一致。
但这里要明确的是，Sora 路线并不能代表多模态技术的全部。首先，投入做 Sora 代表的通用视频生成模型投入的成本非常高昂。市场研究机构 Factorial Funds 报告估算，Sora 模型至少需要在 4200~10500 块英伟达 H100 GPU 上训练 1 个月。而如果 Sora 得到大范围应用，为了满足需求，需要约 72 万张 Nvidia H100 GPU，如果按照每片英伟达 H100 AI 加速卡 3 万美元成本计算，72 万片需要 216 亿美元。
而目前通用视频生成模型在技术成熟度上距离 iPhone 时刻也还有较远的距离。此前与艺术家合作短片《Air Head》后来就被指出实际有大量人工参与，估算只有约 1/300 的 AI 素材用到了最终成片里。目前市场视频生成应用从短剧内容生产到影视特效制作，很多努力都在摸索视频生成技术的想象空间，但尚未形成成熟的商业化方案和稳定的营收模式。
其实，对于做多模态来说，也存在 Sora 之外的多种路径。Meta 首席科学家、图灵奖得主 Yann LeCun 就一直坚持'世界模型'路线。他认为生成视频的过程与基于世界模型的因果预测完全不同，通过生成像素来对世界进行建模是一种浪费，注定会失败。斯坦福教授李飞飞则看重具身智能，她认为 AI 仅仅看是不够的，'看，是为了行动和学习'。比如通过大语言模型，让一个机器人手臂执行任务，打开一扇门、做一个三明治以及对人类的口头指令做出反应等。
