火山引擎在 AI 创新巡展上发布了 PixelDance 和 Seaweed 两款视频生成大模型，并宣布豆包通用模型、音乐模型等多款模型全面升级。新模型基于 DiT 架构，支持复杂运镜、主体一致性保持及多风格生成，大幅降低视频创作门槛。同时，豆包大模型并发流量提升至 800K TPM，算力成本降至行业低位，并计划开放更多视频生成 API。火山引擎正构建涵盖视频、音乐、数字人的 AI 创作生态，致力于通过低成本、高并发的基础设施推动行业创新与企业数字化转型。
9 月 24 日，字节跳动旗下火山引擎在深圳举办 AI 创新巡展，首次对外发布了豆包视频生成-PixelDance、豆包视频生成-Seaweed 两款 AI 大模型，并公布了多项 AI 大模型的全新升级。这一系列动作展示了火山引擎在 AI 领域的最新技术积累与产品布局。
活动现场展示了目前 AI 大模型在 C 端最受欢迎的四款应用，分别对应娱乐、创作、问答和个性化 AI 需求四大板块：AI 奇遇、AI 音乐、AI 智能助手和 AI Bot。
AI Bot 是一个全新的 AI 应用开发平台，利用 AI 大模型的强大理解能力，帮助用户开发专属于自己的 AI 应用。用户不需要懂得编程、调试，只需要按部就班地给出自己的需求，剩下的一切 AI 都会帮你完成。这大大降低了 AI 应用的开发门槛，使得非技术人员也能构建个性化的智能服务。
在 AI 奇遇中，用户可以扮演一个角色，偶遇某些人或故事，通过用户给出的反馈，故事也会发生相应的改变，一切均由 AI 实时生成。这项技术不仅可以让用户创作出属于自己的故事，同时也能为游戏厂商提供新的创作思路，真正做到千人千面的故事情节塑造。这种动态叙事能力为交互式内容创作开辟了新的可能性。
作为 AI 大模型最早期的应用，豆包对 AI 问答进行过多轮升级。如今已经支持最高 256K 的上下文理解，并且能够进行复杂的逻辑推理，满足用户多样化的提问需求。长上下文窗口使得处理长篇文档、复杂代码库或连续对话成为可能，显著提升了信息检索与处理的效率。
AI 音乐模块展示了强大的创作能力，在极短的时间里就能生成一首朗朗上口的音乐，根据要求切换不同的曲风并生成歌词。豆包音乐生成模型已经成功打通了整个 AI 音乐的创作链路，普通的创作者不需要再纠结歌词、曲风和演唱效果，只需要说出要求，然后点击生成即可。
在视频创作领域，火山引擎及其背后的字节跳动拥有深厚的积累。抖音在全球掀起的全民视频创作热潮，造就了一个全新的互联网视频时代。因此，火山引擎的视频生成模型更关注用户在实际使用时的创作流程和创作效果，而不仅仅是简单地生成画面和动作。
火山引擎希望用户可以在视频生成模型中，得到与实际拍摄几乎一致的画面效果。为此他们对视频生成模型进行了大量的优化，基于 DiT（Diffusion Transformer）架构结合高效的 DiT 融合计算单元，让视频生成模型拥有执行复杂指令的能力。DiT 架构结合了扩散模型（Diffusion Model）和 Transformer 的优势，在处理序列数据如视频帧时表现出更强的连贯性和一致性。
模型能够根据要求进行大动态和运镜的切换，在专业拍摄中常用的变焦、环绕、平摇、缩放、目标跟随等镜头语言效果，大模型都能做到。借助运镜切换功能，豆包视频生成模型可以真正提供更真实的拍摄效果，并且让创作者更好地展示自己的创意想法，这在以往的视频生成大模型中较少见。
火山引擎还攻克了视频主体在运动时，经常会出现的服装、头饰、光影、风格突变问题。这类问题此前一直困扰视频生成模型用户，因为人们对连贯画面里的突兀变化会更加敏感。即使只有些许的差异，也会让观看体验大打折扣，而 AI 生成的不确定性，让 AI 视频在这方面的问题显得尤为严重。
对此，火山引擎借助 DiT 架构的多种特性，让视频生成模型能够对生成的画面元素进行标记，并在后续的生成中时刻保持相关元素的存在。虽然并不能保证完全的一致，但是已经能够最大程度消除明显的服装、配饰、风格变化等问题，确保视频画面不会出现易察觉的 BUG。这种机制对于制作长视频或连续场景至关重要。
此外，火山引擎还解决了多动作指令互动、人物中途插入等痛点。在现场的演示视频中，就有这样的片段：一个女人生气地看向侧边，然后转头戴上眼镜，此时一个男人从画面边缘进入，拥抱住女人。虽然在传统拍摄中，这是一个很普通的镜头，但是在 AI 视频里，却要求 AI 在表情神态、多动作执行、新元素插入等方面都不能出错，才能生成一个合格的视频。
随后火山引擎还展示了多个由豆包视频生成模型制作的 AI 视频，从多人互动到运动长镜头，都可以在保证视频流畅度的同时确保视频元素的一致和主体风格不变化。在我看来已经完全满足日常的创作需求，如果愿意花更多的时间去打磨，即使是普通人也能坐在家里用 AI 制作出一部大片。
为了满足更多用户的创作风格需求，火山引擎还引入了深度优化的 Transformer 结构，大幅度提升了豆包视频生成模型的泛化能力。不仅支持 3D 动画、2D 动画、国画、黑白、厚涂等多种风格，还支持多种比例的视频生成，让模型能够被应用到各个领域。显然，这也是火山引擎对豆包视频生成模型的期待，成为每一个创作者的助手，让每个人都能创作出属于自己的作品。
豆包视频生成模型并非巡展中唯一的看点，火山引擎同时还宣布了豆包通用模型、音乐模型等多个模型的全面升级，现在，豆包 AI 大模型可以给大家在更多领域提供更好的体验。
豆包音乐生成模型能够以秒为单位完成音乐生成，并且呈现出更真实的演唱效果。背后是火山引擎的「负重前行」，通过对音乐模型的全面升级与优化，结合独特的音乐生成通用架构和全新的解码模型。现场聆听演示音乐时，周围不少嘉宾都下意识发出感叹，如果不提前说是 AI 创作的话，估计不少人会误以为是某个新锐歌手的作品。
从视频到音乐，火山引擎已然攻克了 AI 创作的两大难关，并且完成了整个 AI 创作链路的整合：豆包通用模型完成故事脚本、文生图模型完成前期视觉设定、视频生成模型与音乐模型完成作品素材创作，最后再由剪映提供 AI 智能剪辑支持，让视频创作的门槛与难度得到前所未有地降低。这种端到端的解决方案将极大加速内容生产流程。
火山引擎还在现场展示了全新的数字人生成应用，仅需数分钟即可完成数字人生成，并在数秒内进行音色克隆。简单的操作就可以让用户得到一个专属数字人，拟真的神态和语气，可以满足直播、在线教学、智能客服对话等多个领域的应用。此外，豆包的数字人还能与同声传译模型结合，让数字人随时切换不同的语言进行对话。近年来，出海、海外直播市场已经成为电商生态的另一个支柱，但是能够熟练掌握外语的主播数量却远无法满足市场需求，利用数字人 + 同声传译模型制作的外语主播，将有望成为市场的新选择，这也是火山引擎向泛领域进军的一个重磅项目。
从视频、音乐到数字人，火山引擎正在构建一个涵盖多领域的 AI 创作生态，推动着 AI 技术走向更加广泛的行业应用。未来，随着这些技术的持续优化与普及，无论是内容创作者还是企业，都能够在 AI 生态中找到更高效的创作方式，开启全新的智能化创作时代。
为了满足日益高企的 AI 模型需求，火山引擎一直在升级大模型的承载能力。目前业内多数大模型最高支持 300K 甚至 100K 的 TPM（每分钟 token 数），而豆包大模型的默认并发流量标准已经提高到 800K TPM，是行业普遍标准的 2-8 倍以上，并且允许用户灵活扩容。这意味着在高并发场景下，豆包大模型能提供更稳定的服务响应，减少排队等待时间。
与业界最高并发流量标准相辅的，还有进一步降低的算力成本。在会后的采访中，火山引擎 CEO 谭待提到，火山引擎是业内最早降低算力成本的大模型团队之一，截至目前豆包大模型的算力定价已经低于行业 99%，目前定价仅为 0.0008 元/千 Tokens，引领算力成本进入「厘」时代。谭待认为，只有算力成本降低，才能解锁更多的应用场景，降低开发者的进入门槛，并且减少运营成本支出，才能形成更好的 AI 应用生态。
而且，降低成本也带来了更高的调用量，让大模型获得更好的成长，得以进行快速的迭代升级。在今年 5 月份推动降价后，仅 4 个月的时间豆包调用量就达到每天 13000 亿次，是 5 月份的 10 倍，市场里的 AI 应用覆盖增长显著，而且火山引擎在降价的同时还在提升大模型的整体能力，降价提质也让更多的开发者热衷于豆包大模型。
作为字节跳动的 2B 云平台，火山引擎此前就对企业开放了大量的底座模型，这在大模型团队中并不多见。针对这个问题，谭待也做了进一步的解读，火山引擎选择开放底座大模型的初衷就是推动行业创新，通过对豆包大模型的技术进行整合，为企业端提供更安全、稳定的底座大模型。并非简单地将豆包大模型丢给企业，而是从企业端的需求出发，提供更多的服务与应用，助力企业进行 AI 创新。
采访中还提到了 Sora，作为最早的视频生成模型之一，Sora 的问世一度引起广泛关注，但是至今为止 Sora 仍未公开发布，以至于被业内称之为「期货」。因为对算力的高要求，视频生成大模型的全面开放一直存在不小的阻力，这也让我们担心豆包视频生成大模型是否可以在短期内放出。对此，谭待充满了信心，因为豆包并非一个独立的视频生成模型，其本质上是依托于豆包通用模型等一系列技术的成果，所以许多技术挑战在此之前就已经解决了。
同时火山引擎也一直在优化视频生成模型的效率，使其能够更快地进入公开市场，目前在即梦 AI 等功能里已经可以申请内测体验，并且在国庆节后会放出更多的公开 API。谭待在采访中还特别强调了技术积累和长期规划的重要性。他指出，火山引擎的目标不仅仅是解决当前的市场需求，更是在为未来的 AI 发展打下坚实的基础。通过持续优化底层技术架构，火山引擎能够以更低的成本提供更高质量的服务，从而保持技术领先优势。
最后，谭待认为随着 AI 技术的不断成熟，拥有庞大用户和企业支持的火山引擎将继续保持在行业内的领先地位。未来几年，火山引擎将持续专注于技术深耕和行业落地，通过更高效、更智能的AI解决方案帮助企业实现数字化转型和创新发展。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
