2024 大模型落地应用案例集：娱乐、视频与游戏行业精选

书生筑梦视频生成大模型——上海人工智能实验室

上海人工智能实验室是我国人工智能领域的新型科研机构，开展战略性、原创性、前瞻性的科学研究与技术攻关，突破人工智能的重要基础理论和关键核心技术，打造'突破型、引领型、平台型'一体化的大型综合性研究基地。

一、概述

书生筑梦视频生成大模型，通过设计大规模视频生成模型的基础模型结构，机器学习方法，建立大规模数据集，构建数据处理工具，实现了文生视频大模型系统，并在通用场景下实现了 2K 分辨率、支持转场与镜头语言的分钟级长视频生成。

二、需求分析

随着生成式人工智能技术的发展，图像生成模型正在日渐成熟，以 Midjourney 和 Stable Diffusion 为代表的文生图模型为使用者提供了全新的创作模式。视频生成，由于其更加广泛的应用场景，以及更加生动的表现方式，受到了越来越多的关注和需求。因此，设计能够生成高画质，长视频的大规模视频生成模型，对于广告设计、电影制作、以及艺术创作将产生革命式的变革。

三、案例介绍

作为首个支持故事性、多镜头的视频生成大模型，包含超过 30 亿参数的书生·筑梦将全面赋能视频创作，拓展创意空间。书生·筑梦将 AI 生成视频时长由秒级提升至分钟级，并使所生成视频内容具备'转场流畅、故事连贯、画质高清'特质。凭借强大的语义、图像理解和生成能力，在多维度评测指标中综合领先。

1. 多样化生成方式，够美够方便 作为一款融合文本、图像、视频等多模态数据的视频生成大模型，书生·筑梦支持由'文生视频'与'图生视频'多样化任务。为实现通用文本视频生成（Text-to-Video Generation，T2V），团队在与训练文生图大模型基础上引入时空建模模块，并使用图像视频联合训练的方式，使模型具备了 T2V 能力。

与此同时，团队基于掩码的条件视频扩散模型，将特定图片作为即将生成视频的第一帧和对应掩码，实现了由图片驱动的视频生成能力（Image-to-Video Generation，I2V）。

2. 创新性生成阶段，够清够流畅 连贯的转场镜头、生动波折的故事、充满美感的高清画质缺一不可在影视巨作中缺一不可。在书生·筑梦中，运用 AI 直接生成长视频'巨作'将成为可能。研发完成转场视频生成模型，为其输入多段给定视频或场景图片，书生·筑梦可根据提示词（prompt）和扩散模型（Diffusion Model）自动生成转场视频，从而实现不同场景和视频之间的'丝滑'连接。在生成多段视频时，为保证视频中的主体一致性，研发团队提出了保持主体一致性模块。该模块的输入内容一张包含主体的图片和一段文字描述，图片信息作为文本的一部分，或作为额外的信息加入到网络注意力模块中，即可保证多段视频中的主体一致。实现生成视频的'多机位'效果，使长视频中的故事一致性成为可能。

本项目相关研究成果已应用于央视听媒体大模型（CMG Media GPT）中。该大模型为首个专注于视听媒体内容生产的 AI 大模型，由上海 AI 实验室与中央广播电视总台联合推出。于此同时，书生筑梦视频生成大模型已与商汤科技、想法流、北京电影学院等单位达成合作意向，正成为推动视听媒体编创方式变革的 AI 工具。

四、效益分析

书生筑梦视频生成大模型具备生成多样性和创造性视频内容的非凡能力，为创意和创新开辟了崭新的可能性。该模型有助于广告公司、娱乐制作公司等行业生成独特的广告创意、电影特效、虚拟角色等，为观众带来独具魅力的视觉体验。传统的影视制作通常需要投入大量人力、物力和时间。然而，引入该模型作为辅助工具，可以通过自动化和智能化的方式，降低人力成本并加速视频生成速度。该模型能够协助企业和影视从业者更快地生成所需的视频内容，从而节约时间和成本。

百川大模型在娱乐领域的应用——上海百川智能技术有限公司

上海百川智能技术有限公司成立于 2023 年 9 月 12 日，由前搜狗公司 CEO 王小川创立。目前已完成 A1 轮战略融资，总融资金额达 3.5 亿美元，创下国内大模型初创企业跻身科技独角兽行列最快记录。成立以来，百川智能接连发布 Baichuan-7B/13B、Baichuan2-7B/13B、Baichuan2-192K 五款开源大模型及 Baichuan-53B、Baichuan2-53B 两款闭源大模型。

一、概述

在泛娱乐领域大量 C 端用户拥有情感陪伴和内容创作、消费需求，社区、游戏等类别 B 端用户急需大模型赋能以对产品进行创新升级的背景下，百川智能以 LLM 驱动 Character 为基础，推出具有丰富多样剧情内容、能够生成真实自然对话的泛娱乐领域创新产品线。针对 B 端用户，上线百川智能独有的知识库功能，允许创作者针对于角色创建专属知识库，让角色回复更具备可控性和事实性。同时，基于长窗口模型，产品支持创作者基于一本小说快速创建角色，且具有超长的记忆能力。针对 C 端客户，平台将从人机共生的 UGC 游戏化社区向开放世界元宇宙发展，从生成角色开始，生成文字游戏，再通过多模态生成图、文、视频和游戏，最终实现生成式开放世界。

二、需求分析

本项目专注于泛娱乐领域创新产品线，针对各种客户类型（包括社区类、游戏类、影视类、网文类和营销类等）及其特定需求（例如角色扮演、智能 NPC 等）进行深入分析，并提出相应的切入点与策略。借助百川大模型，平台将角色扮演能力应用于多种内容形式，如互动小说、游戏和影视剧等，以满足用户对高品质、普及性的娱乐内容的需求。本项目致力于降低创作门槛，提高创造力上限，吸引 14 至 40 岁的广泛用户群体，并提供易于使用的创作界面和强大的创作工具，以确保内容的质量与丰富性。

三、案例介绍

1. 主要能力

   • 产品设计能力： 项目团队具备丰富的产品设计经验，能够根据客户需求进行定制化设计，提供开箱即用的角色管理和调优工具。
   • 技术支持能力： 项目团队拥有专业的技术支持团队，能够解决客户在使用过程中遇到的各种问题，提供优质的售后服务。
   • 用户体验优化能力： 在产品设计中融入了娱乐感和游戏感，以提供更为生动和吸引人的用户体验。

2. 技术创新点

   • 知识库： 平台允许创作者针对角色创建专属知识库，这使得角色的回复更加具有可控性和事实性。这目前是百川智能独有的设计，使创作者能够更好地控制角色的行为和反应，同时也保证了信息的准确性。
   • 长窗口上下文理解： 平台具备超长上下文理解能力，使得角色具有超长的记忆能力。这不仅可以提高创作效率，让创作者可以快速创建角色，也可以提升对话体验，让角色能够理解和回应用户的长篇对话。

3. 实施效果 平台在用户反馈方面得到了广泛的好评。用户表示平台系统稳定，能够快速响应并提供高质量的输出。在进行角色扮演、虚拟陪伴、聊天对话等方面，都表现得非常出色。此外，平台在复述用户问题、处理 Prompt 限定问题和上下文信息方面也做得很好，能够严格按照用户的指示进行操作，并根据上下文信息做出合理的回答。

四、效益分析

本项目将通过独特的商业模式实现企业盈利与消费者需求的完美融合，推动产业发展，创造更多就业机会，提高经济效益。项目关注消费者个性化需求，提升消费体验和生活品质，助力国家文化软实力提升，营造健康文化氛围，促进社会和谐与稳定。B 端商业模式包括免费试用、使用频率限制、API 使用余额展示、异常问题处理机制及商业留资入口，旨帮助客户提升产品商业价值。C 端商业模式基于 AIGC 能力打造的创玩一体的模式和体验，降低了门槛，提升创造力上限，并提供持续性服务确保用户得到及时帮助和支持。

AnimateDiff：一项基于个性化文生图模型扩展后的视频生成框架——上海人工智能实验室

一、概述

伴随科学技术进一步发展，知识与内容的生成方式从原本的由人本身作为生产驱动转变为由人利用工具或技术进行生产，与人工智能技术迅猛发展相对应的便是面向人工智能的技术生成即'AIGC'。AIGC 凭借更具性价比的使用成本、相对较低的使用门槛以及更具有生产力的生产效率，成为文本、语音、图像乃至视频生成中脱颖而出的工具。

上海人工智能实验室通过锁定原有文生图模型进而插入新的动作建模模块，形成一个适配个性化文生图模型的从文字到视频生成的垂类大模型。该模型通过将运动建模模块引入到被锁定住的文生图模型中去，在视频的基础上进行训练，从而使得模型学会合理化的运动知识，由此实现从文字到高质量、稳定性的视频生产，使得用户定制自己想要的个性化动态视频风格与内容。

二、需求分析

高速发展的信息技术与急速流动的社会使得人们身处于一个高度信息化与数字化的时代，人们对于日常生活中信息内容的时效性、信息形式的生动化以及信息生产的自主化有了更高的追求。与之相悖，传统的内容生成模式在使用中的高门槛、低生产速度与单一生成形式使得其难以满足现今的社会需求，人们在现今多样化的社会中对于技术如何驱动内容生成走向更便捷有了新的要求。然而技术本身具有一定的研发成本与技术门槛，因此对于 AIGC 大模型而言，如何多快好省地实现轻松化的应用，是其在当前研发与应用中的关键问题。

上海人工智能实验室研发的 AnimateDiff 正是基于训练方式的革新带来了节约训练成本情况下如何在少量训练数据下，实现从用户输入文字到模型驱动生成视频来破解这一难题，为 AIGC 在视频内容生成端带来全新突破。

三、案例介绍

1. 主要能力 AnimateDiff 通过对已有的文生图模型扩展，以插入新的动作建模模块的方式来构建起其模型框架，从而使得该模型仅需通过训练运动建模模块来学习合理化的运动规律，实现根据用户输入的文字最终能够变成有序且连续的动态画面，进而通过复制这一运动模块将其应用到同类基于类似模型训练而成的个性化文生图模型中，实现了对于模型本身的延续与扩展，从而支持生成高质量且多样化风格的视频。

• 连续且稳定生成动态画面： AnimateDiff 在生成视频质量上，由于先验基础锁定了文生图模型，使得其保证了图片生成质量，进而通过引入运动模块，保证了其生成画面的连续性与平滑度，使视频片段具有更好的连贯视觉效果，在视觉观感上让用户感受到流畅的视频内容。
• 适配多种个性化模型： AnimateDiff 作为一项 AIGC 垂类大模型，由于其在训练中将运动建模模块作为独立插件引入，以原有的文生图模型为基础，从而使得其对于基于同样训练模式生成的同类个性化文生图模型有很好的适配性，从而可以支持生成风格多样的视频动画。
• 动态化镜头移动控制效果： AnimateDiff 的运动模块作为一项插件，在研究人员的努力之下，其运动模块实现了多元的动态效果，可以支持所生成的画面实现类似于相机镜头前后左右移动以及远近拉伸的视觉效果，为未来生成更复杂多样角度的视频内容奠定基础。
• 支持多种比例下画面剪裁： AnimateDiff 在生成动画的效果上，不仅从原有的 16 帧提升到现有的 32 帧效果，同时也支持基于 1024x1024x16 比例范围内自定义的裁剪，用户可以根据自己所希望生成视频内容的特点，自定义生成内容的尺寸，为 AnimateDiff 所生成的视频带来更广的应用场景。

2. 技术创新 AnimateDiff 作为从文字到动态画面的视频生成框架，通过其训练方法，优化了文字 - 图片 - 视频的 AIGC 大模型生成路径，有效节约了训练成本，实现了从文字到视频的生成框架，降低了用户在视频创作中的使用门槛。并且在训练中，通过对训练运动模块的优化，使得其所需数据量更小的情况下，生成了成像质量更为稳定且画面连续性更出色的动态视频。因此 AnimateDiff 既是对 AIGC 大模型训练路径的创新，也是对于 AIGC 大模型在生成模式上的创新。

3. 社区影响 AnimateDiff 目前主要是作为 Diffusion Web UI 和 ComfyUI 中的插件供用户进行直接使用，也支持用户在 CivitAI、HuggingFace 以及 OpenXLab 几大开源社区内体验其预训练模型，并且于 2023 年 11 月份在 SDXL 上开源其测试版。自 AnimateDiff 在 GitHub 上发布以来，就备受各个 AI 开源社区的关注，备受众多 AIGC 相关行业用户的关注与使用，推动众多用户不仅通过 AnimateDiff 制作出许多优秀、生动且有趣的视频作品，亦有众多用户在 AnimateDiff 的基础上形成了新的扩展，进一步拓宽 AnimateDiff 的应用场景与影响力，为 AIGC 助力内容应用带来了更丰富的可能。

四、效益分析

AnimateDiff 作为支持从文本到连续稳定视频生成模型，在训练层面很好地链接了原有丰富且具有个性化的文生图模型，通过其独特的算法训练路径实现了节约训练成本与优化训练资源，并且进一步增添了同类文生图模型的可持续性扩展。另一方面在应用层面，其降低了普罗大众在 AIGC 方面的使用门槛，使得普通人捕捉自身想象力进行艺术创造变得更轻松。因此伴随 AnimateDiff 在未来进一步发展，我们可以期待其应用于艺术创造、文博数字化等丰富场景之中，进而推动 AI 技术、人与社会更好地互动，共同创造美与价值。

面向游戏行业的图像内容生成式大模型——上海商汤智能科技有限公司

商汤科技作为亚洲领先的 AI 技术公司，拥有深厚的学术积累，并长期投入于原创技术研究，不断增强行业领先的全栈式人工智能能力，涵盖感知智能、决策智能、智能内容生成和智能内容增强等关键技术领域，同时包含 AI 芯片、AI 传感器及 AI 云等关键能力。商汤前瞻性打造新型人工智能基础设施 - 商汤 AI 大装置 SenseCore，打通算力、算法和平台，并在此基础上建立'商汤日日新 SenseNova'大模型及研发体系，推动高效率、低成本、规模化的 AI 创新和落地，进而打通商业价值闭环，引领人工智能进入工业化发展阶段。

一、概述

面向游戏行业的图像内容生成式大模型是一款商汤科技自主研发、面向游戏策划和美工等研发人员设计的高效研发辅助工具，可通过高质量、快捷的 AIGC 能力，快速、批量地生成风格多样的图像内容，大幅缩短游戏研发时间与人力成本，助力商汤科技内部业务快速落地。

二、需求分析

随着通用大模型的技术发展，面向人工智能内容生成（简称'AIGC'）的大模型正在从单纯加快时政、金融、体育等行业新闻稿的内容生成速度、降低人力成本，逐步转向以绘画、美工素材、剧本等生成应用的价值创造。跨模态/多模态内容成为关键的发展节点，OpenAI 的 CLIP 多模态模型、DallE 系列生成模型，Google 的 Imagen 大规模文图生成模型，让这一领域的技术不断完善。2022 年下半年以来，生成模型技术不断完善、开源模式的推动、商业化案例的落地，推动 AIGC 发展明显加速。

针对游戏行业，目前部分内容创作者的矛盾主要集中在越来越高的生成内容的丰富度、事实性和个性化的需求与有限的创作周期，同时也需要更加高效直观的图文跨模态转换技术，以实现团队协作。因此，急需高效、高质量的内容生成手段用于创作灵感的构思、辅助内容创作和团队需求沟通。而随着 AIGC 大模型的标注数据累积、AIGC 技术架构日渐完善，AIGC 技术逐渐开始面向内容创作应用。AIGC 技术借助大模型的跨模态综合技术能力，可以激发创意，提升内容多样性，降低制作成本，快速推动更加高质量的内容生成和创作。

三、案例介绍

1. 主要能力 商汤科技目前已针对游戏业务正式部署了图像内容生成式大模型，可面向游戏美工、策划等内容创作者提供高质量、大批量的优秀图像内容。基于检索式超大生成扩散模型设计、质量感知式图像生成技术、图像布局分布式训练方式、面向超大生成扩散模型的训练和推理加速器以及基于超大生成扩散模型的图像二次创作能力等创新点，内容创作者可以实现更加精准的高质量图像内容生成，通过初步筛选图像内容，即可获得目标图像，并可以实现局部区域内容的定制化调整。因此，图像内容生成式大模型的应用大幅提升了游戏业务的沟通和研发进度，辅助内容创作者更加高效、灵活地创作游戏素材。

2. 技术创新点

• 基于检索式的超大生成扩散模型设计： 利用条件信息从数据库中检索到相关的图像，和条件信息一起送入扩散模型生成过程中，强化模型对于条件生成的质量和丰富度；
• 质量感知图像生成技术： 通过训练一个预测风格和质量的模型对数据进行分类，并将类别作为条件信息的一部分，从而实现在充分利用大规模数据提供的图像丰富度的同时，有效控制生成质量；
• 图像布局分布式训练： 设计了一种图像预处理的流水线，将相近宽高比的图像组成同个批次，使得模型具有生成多种图像大小、宽高比的能力；
• 大规模扩散模型训练与推理加速优化： 通过对扩散模型的分析和优化，有效提升模型训练和预测的速度，实现了 2-5 倍的加速比，帮助模型实现目前业界最快的生成速度；
• 基于 AIGC 超大模型的高质量创作功能： 充分挖掘用户需求，设计了丰富的可调节生成选项，帮助用户通过调整提示词（prompt）来快速实现高质量出图；
• 基于 AIGC 超大模型的图像二次创作和修改： 设计了一种新的图像修改的流水线，可以有效利用没有被遮盖区域的完整信息，来辅助恢复遮盖区域的生成过程，实现更好的生成质量和边缘过渡。

3. 实施效果

• 高效提升策划与美术设计沟通准确性： 通过使用图像内容生成大模型的 AIGC 能力，可将策划与美术设计沟通的时间和频次大幅缩短。传统的设计需求沟通通常需要 4-5 次对接反馈，将文字描述转换为最终的角色或者场景概念图，目前策划借助 AIGC 能力，可以直接将文字需求转化为图像内容，仅需要 1-2 次沟通对接即可让美术设计理解，大幅度提升了沟通准确性；
• 加速美术设计的生产效率： 美术设计借助图像内容生成式大模型的 AIGC 能力，可以高效、高质量生成不同质量的图像内容，用于辅助内容创作。如果需要根据沟通反馈意见进行修改设计，也可通过模型内容仅对局部细节进行替换。这些生产效率上的提升可将原有单个角色的创作周期从 10 天缩短到 6 天左右。而在图标的设计上加速效应更加的突出，按传统的工期计算为 1 天 2 个，现在接入 AIGC 能力后，美术能够在描述准确 + 风格确定的情况下，一天就可以生成上百个候选图标，而美术只需要简单修改就能够使用。

四、效益分析

1. 项目亮点

• 高效、高质量地进行游戏素材内容创作：游戏策划和美术设计都可以通过图像生成内容更加直观、更加高效的进行沟通和协作，有利助力了原创角色、场景以及其他游戏素材内容的创作；
• 使用 AIGC 能力助力游戏行业开发：通过图像内容生成式大模型的生成能力，有利于推动游戏行业的开发模式更新，使游戏在角色设计阶段的开发周期大幅缩短，并且通过自定义设置大模型的提示内容，能够生成更高质量、定制化的设计方案。

2. 经济量化价值

• 游戏策划与美术设计的沟通周期缩短，需求沟通和反馈频率从传统的 4-5 次变为 1-2 次。
• 加速了美术设计（角色原画）的生产效率，能够由原先的 10 天单角色加速为 6 天左右单角色。
• 加速了美术设计（图标）的生产效率，能够由原先 1 天两个加速为 1 天上百个。

3. 应用推广前景 通过在商汤科技内部的游戏业务推动图像内容生成式大模型，尝试利用 AIGC 能力辅助游戏开发，可有利于解决现有游戏行业普遍存在的沟通和协作成本高、策划与美术设计存在理解偏差、开发周期短等迫切问题，将能够逐步实现 AIGC 能力在整个游戏开发周期中的渗透和推广，推动以 AIGC 能力为辅助工具的游戏开发模式形成。

总结与展望

上述五个案例展示了大模型技术在娱乐、视频及游戏行业的深度落地实践。从 Pixeling 千象的设计辅助，到书生筑梦的视频生成，再到百川智能的角色扮演与商汤科技的图像生成，均体现了 AIGC 在提升生产效率、降低创作门槛及增强内容多样性方面的核心价值。

随着技术的不断迭代，大模型将进一步融合多模态能力，实现从单一内容生成向复杂交互场景的跨越。预计未来，行业将更加注重模型的可控性、安全性及伦理规范，同时探索更多垂直领域的定制化解决方案。对于开发者而言，掌握大模型应用开发技能将成为提升竞争力的关键；对于企业而言，积极拥抱 AIGC 技术将是实现数字化转型与创新增长的重要路径。