2024 年 AIGC 行业研究：多模态大模型与商业应用

就战略合作或产品布局而言，国内底层大模型厂商正发力布局中间层及终端应用层，以此为自身的底层大模型产品提供能力出口和数据入口，如针对未来智能终端提前布局多模态 AI 平台的李未可科技等。

应用层：文字生成发展时间较长，跨模态生成潜力最高

AIGC 产业应用层多是基于模型能力和对用户需求的洞察，直接面向 B 端或 C 端客户进行服务，可将其简单理解为移动互联网时代的各类工具，未来的潜力空间较大，大批初创企业可参与其中。

如果按照模态划分，应用层可分为文字生成、音频生成、图像生成、视频生成、跨模态生成和策略生成。由于 NLP 技术发展历史较久，因此文字生成属于发展时间最长、落地应用也最为成熟的赛道。而在这波 AIGC 发展热潮中，跨模态生成将会带来最多的新应用场景。其中，文字生成图像、文字生成视频和图像/视频生成文本均已有产品问世，尤其是文字生成图像，如 Stability AI，已经在全球范围内有了 C 端用户量的证明。

根据量子位智库对不同模态不同应用场景技术成熟度、应用成熟度和未来市场规模的估算，目前文本生成中，文本辅助生成赛道规模潜力最大；跨模态生成中，文字生成图像/视频赛道规模潜力最大。

2030 年，中国 AIGC 市场规模将达万亿级别

根据量子位智库数据，2023 年中国 AIGC 市场规模约为 170 亿元，预计 2025 年之前，中国 AIGC 市场规模增长率都将维持在 25% 左右，2025 年市场规模将达到 257 亿元。2025 年起，随着底层大模型逐步对外开放，中间层及应用层将迎来爆发式增长，带动 AIGC 行业市场规模快速增长，年均复合增长率将超过 70%，到 2027 年，中国 AIGC 市场规模将超过 600 亿元。2028 年起，AIGC 产业生态更加成熟，并在各行各业实现商业化落地应用，2030 年，市场规模将超过万亿人民币。

02、前沿技术分析

多模态发展已成行业共识，文本端技术路径已收敛于 LLM

按照处理的数据类型数量，AI 模型可以划分为单模态和多模态两类：单模态只能处理一种类型数据，如文本或音频或图片；多模态则能够处理两种或两种以上的数据类型。相比单模态，多模态大模型在输入输出端的优势明显：不同模态的输入数据具有互补性，多元训练数据输入有助于通用大模型能力的快速扩展，多模态数据输入使用门槛更低和数据损耗更少，同时也能够大幅提升使用者的应用体验；多模态数据的输出则省去了多模型的整合，更容易实现商业落地。

现阶段，AIGC 大模型从单模态向多模态发展已成为行业共识。在文本端应用 ChatGPT（2022 年 11 月面世）和图像生成代表应用 Midjourney V5（2023 年 3 月面世）影响下，文本端和图像生成应用在 2023 年呈爆发式增长。2024 年 2 月 16 日，OpenAI 发布文生视频应用 Sora，使视频生成领域成为新一轮行业热点，预计 2024 年将迎来技术和资本的高度关注。

目前，基于 Transformer 结构的预训练模型是多模态大模型的主流训练方式。如谷歌的 GEMINI，就是在不同的模态上进行预训练，利用额外的多模态数据进行微调以提升其有效性。随着文本生成大模型的发展，LLM 已成为确定性技术路径。通过扩展，LLM 的性能可以在困惑度（生成文本的流畅度）等定量指标上实现大幅改进，只要在训练期间接触到多样化的语言模式和结构，LLM 就能以高保真度模仿和再现这些模式。

然而，多模态技术面临数据存量即将枯竭的困境。不同类型的数据标注成本不同，视觉等模态数据收集成本通常高于文本数据，这导致多模态数据集（尤其是高质量数据集）远少于文本数据集。Epochai 数据显示，在 AIGC 大模型高速发展背景下，高质量的语言数据可能在 2026 年之前耗尽，而低质量的语言数据也可能在未来 20 年内面临枯竭。

为了解决数据枯竭问题，AI 合成数据应运而生，如结构化数据企业 Mostly AI 和非结构化数据企业 DataGen，前者能够生成与真实数据预测特性相当的匿名数据集，后者则能够为计算机视觉团队提供合成数据集的自助服务平台。AI 合成数据适应多模态模型的数据模态组合，且数据获取速度更快，能够有效增加数据存量。

路径对比：扩散模型占据主流，自回归模型仍有潜力

AI 生成视频与 AI 生成图片的底层技术框架较为相似，主要包括生成式对抗网络（GAN）、自回归模型（Auto-regressive Model）和扩散模型（Diffusion Model）三大路径。目前，扩散模型已成为当前 AI 生成视频的主流模型。

（1）生成式对抗网络（GAN）

GAN 是早期的主流图像生成模型，通过生成器和判别器进行对抗训练来提升模型的图像生成能力和图像鉴别能力，使得生成式网络的数据趋近真实数据，从而图像趋近真实图像。相较于其他模型，GAN 的模型参数量较小，所以更加擅长对单个或多个对象类进行建模。弊端是 GAN 的训练过程稳定性较差，导致其生成的图像缺乏多样性，因此逐渐被自回归模型和扩散模型替代。

（2）自回归模型（Auto-regressive Model）

自回归模型采用 Transformer 进行自回归图像生成。Transformer 整体框架主要分为 Encoder 和 Decoder 两大部分，能够模拟像素和高级属性（纹理、语义和比例）之间的空间关系，利用多头自注意力机制进行编码和解码。与 GAN 相比，自回归模型具有明确的密度建模和稳定的训练优势，能够通过帧与帧之间的联系生成更为连贯且自然的视频。由于自回归模型本身参数数量通常比扩散模型大，其对于计算资源要求及数据集的要求往往高于其他模型，因此受计算资源、训练所需的数据和时间限制较大。但也正由于其参数具备更大的扩展潜力，图像生成和视频生成的自回归模型将有望借鉴 Transformer 在文本领域 LLM 的经验，通过对不同模态进行跨模态、规模化的训练，最终实现'大力出奇迹'。

（3）扩散模型（Diffusion Model）

直白来说，扩散模型就是通过定义一个扩散步骤的马尔可夫链，连续向数据添加随机噪声，直到得到一个纯高斯噪声数据，然后再学习逆扩散过程，经过反向降噪推断来生成图像，通过系统扰动数据中的分布，再恢复数据分布，逐步优化的过程。以 Sora 为例，Sora 由 Visual Encoder、Diffusion Transformer 和 Transformer Decorder 三大 Transformer 组件组成。在训练过程中，给定一个原始视频 X，Visual Encoder 将视频压缩至较低维的潜在空间，然后在潜在空间中接受训练，该训练过程应用的就是基于扩散模型的 Diffusion Transformer，先加噪再去噪，逐步进行优化，最终将生成的时间和空间上压缩的潜在表示通过 Transformer 解码器映射回像素空间，即视频 X1。由于计算效率更高、成本更低，并且能够在处理数据（压缩/放大）时获得高质量图像，扩散模型已逐渐成为文生图和文生视频领域的主流技术路径。

03、应用概况

随着 ChatGPT、文心一言、Sora 等产品问世，AIGC 覆盖场景愈发丰富，表现效果逐步成熟。机遇与挑战并存，AIGC 为行业带来发展机遇，创造出更多新应用场景和商业模式的同时，也伴随着一些需要应对的挑战。

对于 ToB 类企业而言，AIGC 可与其现有业务进行有机结合，实现业务降本增效，为数字人、SaaS、数字设计、金融等行业带来新机遇

数字人。虚拟数字人的发展与 AI、CG、虚拟现实等多个领域底层技术的突破密不可分。AIGC 与数字人的融合，赋予虚拟人更多的'敏捷力'与'生命力'的同时，实现其在更多应用场景的落地。一方面，AIGC 技术可将静态照片转为动态视频，并实现如人脸替换、表情转变等视频特效，让虚拟人更加生动逼真；另一方面，AI 技术提升虚拟人多模态交互能力，无需人工干预，即可实现自动交互，让虚拟人具有内在'思考'能力，加速其在更多领域的应用。此外，AI 技术有望实现从创建、驱动到内容生成的'一站式'全流程自动化，降低企业开发成本。例如，趣丸科技已初步建成高自然度虚拟数字人生成技术平台，可在 10 秒左右，通过单张或几张照片生成面部相似度达到 90% 以上的高自然度虚拟数字人，耗费时间短、成本低、具有多模态交互能力，降低了普通用户使用技术门槛和经济负担，实现在科普教育、直播零售、游戏动漫等场景的应用。

SaaS。面对不断发展与变化的市场环境，保持业务侧数字化运营和顺畅的上下游衔接成为越来越多企业的必然选择，这意味着 SaaS 行业需提升智能化程度，为企业提供可快速响应、交互和决策价值分析等服务。在客户管理场景中，AIGC 的文本生成模式可作为聊天机器人，根据客户沟通内容快速进行反馈，提供个性化互动并主动提供查询以外的其他相关服务，使 SaaS 软件更易于访问和使用。在业务流程自动化场景中，AIGC 可实现通过简单指令，综合管理企业业务流程，提高工作效率。例如，在财务管理方面，整合分析财务数据，提供全面的财务报告与分析；在营销方面，动态生成个性化客户邮件及广告；在供应链管理方面，自动处理上下游单据和数据录入；在人力资源方面，实现智能面试和薪酬考核自动化。

数字设计。随着多模态预训练大模型等底层技术的逐渐成熟，AIGC 在音图视频生成上展现出更强的能力，应用也愈发广泛。一方面，图像生成在工业设计、平面设计、插图设计、游戏动画制作等数字设计领域快速应用，在工作前期，AIGC 可辅助搜集素材、快速生成草稿，在后期，用户可通过文字指令实现调色、构图调整、P 图、调整风格等功能，降低设计创作门槛的同时，减少基础性机械劳动。另一方面，视频生成在建筑设计、工业设计、游戏设计等行业中，可提供更加直观的演示效果，显著缩短工作时长。

金融。面对激烈的市场竞争，传统金融行业已难以满足消费者个性化需求。金融行业具有资源密集型特点，利用 AIGC 分析、生成能力可提升其服务效率，推动其优化业务流程，提供更便捷的以客户为中心的产品与服务。具体而言，AIGC 主要被应用在风险评估、量化交易、柜台业务办理等方面。在风险评估环节，AIGC 可快速分析分散的、多维交易数据和行为模式，精确监测并识别潜在风险和检测欺诈，提高风控精确度。在柜台服务环节，AIGC 可根据客户需求和自身画像，为其推荐更适宜的产品和定制化金融服务，提高客户满意度。

对于 ToC 类企业而言，AIGC 将帮助游戏、影视、出版等行业提高内容产出效率，提升消费者体验

出版。对于以内容为根本的出版业而言，AIGC 将引发内容生产范式变革。一方面，AIGC 替代用户成为内容生产者，迅速提高内容产出效率；另一方面，AIGC 可辅助完成编辑工作，节省编辑工作时间，释放人力。具体而言，在内容生产环节，AIGC 的文本输出能力辅助作者完成内容创作，后续随着技术的发展，甚至可直接创作内容，并拥有独特的写作风格。目前，部分小说网站推出 AIGC 辅助创作功能，作者输入特殊关键词，即可自动生成内容，并为作者提供灵感。在编辑环节，AIGC 可通过抓取热点新闻、事件，基于自动分析挑选选题的同时，基于文本识别和深度学习模型，快速完成文章审校工作，提高编辑工作效率。

游戏。在行业竞争愈发激烈且玩家喜好更加细分的背景下，AIGC 与游戏的融合，从内容、画面、玩法等方面全面优化玩家游戏体验，并提高游戏自身竞争力。在内容和玩法方面，一方面，AIGC 提高 NPC 对话逻辑性、细化语调、表情和肢体动作、将环境与 NPC 搭建起情感联系，增强玩家与游戏的交互性，为玩家提供自由度较高的沉浸式体验；另一方面，输入目标、场景、角色等信息，AIGC 可生成玩法文案，提供关于机制和故事情节等方面建议，平衡并丰富游戏玩法，提升游戏的趣味性。此外，AIGC 可辅助生成更精美的画面，工作人员通过文字表述即可生成图片和动画，提高绘画效率的同时，提升玩家的体验。

影视。影视行业工作流程普遍较长，涉及大量人力与时间成本，AIGC 将赋能影视制作全流程，从策略、摄制、制作到宣发阶段，大幅降低影视行业门槛，提供内容创意参考的同时，实现行业的降本增效。在策划阶段，深度学习算法可通过快速大量阅读已发布影片，再结合关键词，为编剧提供剧本创意参考的同时，在剧本完成后，也可帮助编剧进行润色和翻译等工作。在摄制阶段，一方面，导演可利用 AIGC 帮助完成分镜绘制、镜头语言设计等工作；另一方面，制片人可省去日程安排、制片统筹、剧组预算等基础工作所需时间，实现工作的简化并节省时间成本。在后期制作阶段，AIGC 可完成如添加字幕、视频剪辑、视频调色等基础工作，随着技术的成熟，也逐渐可完成特效制作、动画制作等复杂工作。以 2023 年奥斯卡最佳影片《瞬息全宇宙》为例，这部科幻电影的视觉效果团队仅有五人，他们通过与 Runway 合作，使用其 AI 工具完成背景、放慢视频、制作无限延伸的图片等工作，极大地提升了视觉特效制作效率。

尽管 AIGC 可大幅提高各行业的智能化水平及运营效率，但其发展仍存在一定局限性，应用端存在诸多挑战

SaaS。AIGC 在 SaaS 行业中的应用带来了数据隐私和信息安全等问题。在提供个性化服务和支持的过程中，AIGC 需要输入企业内部运营、财务、个人交易等敏感信息数据。而 AIGC 模型具有潜在的记忆能力，在生成内容的过程中可能无意提取其他用户的私人数据，由此带来严重的隐私泄露风险。

数字设计。设计行业对版权要求尤为重要。AIGC 通过来自互联网、第三方数据集等大规模数据进行训练时，可能包含通过网络爬虫或其他方法获取的未经授权的数据，进而生成类似风格的衍生作品，易产生已存在内容和新创意元素的混合物，进而引发知识产权归属混乱的问题，产生潜在的法律风险和版权纠纷。尤其在数字设计领域，AIGC 的应用可能涉及大量原始数据的使用和转换，生成作品版权归属存在较大争议。

金融。金融行业大多交易需参考各方信息，对信息准确性要求较高。然而，基于历史和实时信息，AIGC 所做分析准确性仍有待提高且无法预测意外事件的发生。近年来，金融机构纷纷推出智能顾问等生成式 AI 工具，若投资者过度依赖其提供的预测和建议，可能导致不理智的投资行为，加剧羊群效应，进而增加风险集中度。此外，AIGC 易生成虚假新闻或误导信息，导致投资者做出错误决策的同时，可能导致市场价格异常波动。

游戏。作为一种高度强调实时人机互动的娱乐形式，AIGC 的出现让玩家在虚拟世界获得了更好的沉浸式体验，但不受剧情控制、无限延展的人机对话，在交互内容合规方面存在较大不确定性，若 AIGC 对过滤词把控不力，玩家可能会受到冒犯或伤害。

影视。对于需引起情感共鸣的影视行业，相对于人类基于丰富情感和深厚阅历的创作，AIGC 仅能依靠已有数据和算法生成较为生硬、冰冷的内容，拟人化的情感表达尚待提升。

出版。在文学领域，对于内容所涉及的伦理和道德问题要求较为严格，目前，AIGC 无法确保生成内容的合规性，用于开发 AIGC 模型的训练数据可能包含歧视、暴力等内容，从而生成种族歧视、性别歧视等有害内容。

总体而言，AIGC 依托多模态大模型、深度学习算法等赋能金融、游戏、出版等千行百业，但带来的如伦理、版权、数据安全等问题与挑战也不容忽视。

04、发展展望

Sora 等软件展示的跨模态生成能力意味着 AGI 时代将加速到来

通用人工智能（Artificial General Intelligence，AGI）是一种可以在任何专业领域内像人类一样思考、学习、修正并执行智力任务的人工智能系统，要求 AI 系统具备人类所理解的常识、共同行动规范和价值观，最大特点是对真实世界的规则，如物理状态、自然规律、化学变化等因素做出反馈，是人工智能发展的最高目标之一。Sora、ChatGPT 等应用软件的发布意味着 AI 技术领域取得突破性进展，具备更强的时空建模能力和更高的计算复杂度，可模拟具有三维空间、符合物理规律的真实物理世界，为理解现实世界和模拟世界的实现打下技术基础，也将推动多模态 AI 加速发展，并进一步加快 AGI 的发展进程。

技术创新与技术融合将推动 AIGC 的生成能力和应用能力不断增强

未来，一方面，随着深度学习、计算机视觉等技术的不断成熟和如知识蒸馏等新技术的持续创新，AIGC 的生成质量、速度和效率等方面能力将进一步提升；另一方面，多模态大模型将与如自然语言处理技术、虚拟现实、增强现实、数字孪生等更丰富的技术融合，拓展如自动驾驶、药品研发、安防等更多应用场景的同时，为用户提供更丰富的解决方案，满足越来越多用户需求。如在自动驾驶领域，AIGC 技术可创造更多合成数据，弥补真实数据不足的缺陷，加速仿真场景的搭建，提升仿真测试效率。

监管与伦理框架将成为行业可持续发展的关键

随着 AIGC 技术的广泛应用，建立完善的法律法规和行业标准显得尤为迫切。各国政府正在加强对生成式 AI 的监管，重点关注数据隐私保护、内容安全审查以及算法透明度。企业需要在追求技术创新的同时，严格遵守相关法律法规，建立内部合规机制，确保技术应用符合伦理规范。此外，行业组织应推动建立统一的评测标准和认证体系，促进 AIGC 技术的健康有序发展。只有建立起信任机制，AIGC 才能真正融入社会生活的方方面面，实现长期的商业价值和社会效益。