OpenAI 文生视频大模型 Sora 技术深度解析

提示：电影预告片，讲述了 30 岁的太空人戴着红色羊毛针织摩托车头盔的冒险经历，蓝天，盐沙漠，电影风格，用 35 毫米胶片拍摄，色彩鲜艳。

与现实世界的物理关系

提示词中的轮胎扬起的尘土，是在汽车后面。

提示：镜头跟随一辆带有黑色车顶行李架的白色老式 SUV 在陡峭的山坡上被松树包围的陡峭土路上加速，轮胎上扬起灰尘，阳光照在 SUV 上，因为它沿着土路飞驰，为场景投下温暖的光芒。土路缓缓蜿蜒向远处，看不到其他汽车或车辆。道路两旁的树木都是红杉，到处都是绿色植物。从后方可以看到这辆车可以轻松地沿着弯道行驶，看起来好像是在崎岖的地形上崎岖不平地行驶。土路本身被陡峭的丘陵和山脉所环绕，上面是湛蓝的天空和轻薄的云彩。

复杂的场景

Prompt: A Chinese Lunar New Year celebration video with Chinese Dragon.

提示：中国龙的中国农历新年庆祝视频。

精致的细节

提示：一个 60 多岁留着胡子的白发男子的特写镜头，他坐在巴黎的一家咖啡馆里，沉思着宇宙的历史，当人们走着的时候，他的眼睛聚焦在屏幕外的人身上，他几乎一动不动地坐着，他穿着羊毛外套西装外套和纽扣衬衫，戴着棕色贝雷帽和眼镜，看起来很有教授风范，最后，他微微一笑，仿佛找到了生命之谜的答案，灯光非常像电影，背景是金色的灯光和巴黎的街道和城市，景深，35 毫米电影胶片。

当前缺陷

目前，Sora 在视频生成过程中也存在着一些缺陷，比如复杂环境中的物理效果，因果关系，空间和时间上推理上。

• 有时会产生身体上难以置信的动作

  Prompt: Step-printing scene of a person running, cinematic film shot in 35mm. 提示：一个人奔跑的步印场景，以 35 毫米拍摄的电影胶片。

• 动物或人可以自发出现，尤其是在包含许多实体的场景中

  Prompt: Five gray wolf pups frolicking and chasing each other around a remote gravel road, surrounded by grass. The pups run and leap, chasing each other, and nipping at each other, playing. 提示：五只灰狼幼崽在一条偏远的碎石路上嬉戏和追逐，周围环绕着草地。幼崽们奔跑跳跃，互相追逐，互相啃咬，玩耍。

• 不准确的物理建模和非自然物体'变形'的例子

  Prompt: Basketball through hoop then explodes. 提示：篮球穿过篮筐然后爆炸。

• 未能将椅子建模为一个刚性物体，导致不准确的物理交互

  Prompt: Archeologists discover a generic plastic chair in the desert, excavating and dusting it with great care. 提示：考古学家在沙漠中发现了一把普通的塑料椅子，正在仔细挖掘和除尘。

• 模拟对象和多个角色之间的复杂交互对模型来说通常具有挑战性，有时会导致幽默的生成

  提示：一位头发梳得整整齐齐的祖母站在木制餐桌旁的五颜六色的生日蛋糕后面，上面摆放着许多蜡烛，表情是纯粹的喜悦和幸福，她的眼睛里闪耀着幸福的光芒。她身体前倾，轻轻地吹灭蜡烛，蛋糕上有粉红色的糖霜和洒水，蜡烛不再闪烁，祖母穿着一件装饰着花卉图案的浅蓝色衬衫，可以看到坐在桌子旁的几个快乐的朋友和家人在庆祝，失焦。这个场景被精美地捕捉，电影般的，显示了祖母和餐厅的 3/4 视图。温暖的色调和柔和的灯光增强了气氛。

与其他主流视频生成模型的比较

图片来源：https://twitter.com/i/status/1758282791547232482

Sora 背后的底层技术

Sora 是一种通用的视觉数据模型，它可以生成跨越不同持续时间、纵横比和分辨率的视频和图像，最多可生成一整分钟的高清视频。总结来说：扩散模型、Transformer 架构，是一种**'扩散 Transformer'**。

在 OpenAI 发布的技术细节中，提到以下 6 个方面：

1. 将可视化数据转换为 Patches

从大型语言模型中汲取灵感，这些模型通过对互联网规模的数据进行训练来获得通才功能。但不同于大语言模型的'Tokens'，Sora 采用视觉'Patches'，一种高度可扩展且有效的表示，用于在不同类型的视频和图像上训练生成模型。

在高层次上，首先将视频压缩为低维潜在空间，然后将表示分解为时空'Patches'，从而将视频转换为'Patches'。这种机制允许模型处理长序列数据而不受显存限制，同时保持时空一致性。

2. 视频压缩网络

训练一个网络，可以降低视觉数据的维度。该网络将原始视频作为输入，并输出在时间和空间上都经过压缩的潜在表示。

Sora 在这个压缩的潜在空间中接受训练并随后生成视频。还训练了一个相应的解码器模型，该模型将生成的潜在对象映射回像素空间。这种变分自编码器（VAE）结构极大地减少了计算复杂度，使得训练大规模视频模型成为可能。

3. 时空潜在 Patches

给定一个压缩的输入视频，提取一系列时空 Patches，这些 Patches 充当 transformer tokens。此方案也适用于图像，因为图像只是单帧视频。

基于 Patches 的表示使 Sora 能够对可变分辨率、持续时间和纵横比的视频和图像进行训练。在推理时，可以通过在适当大小的网格中排列随机初始化的 Patches 来控制生成的视频的大小。这种灵活性使得模型能够适应各种应用场景，从社交媒体短视频到电影级长镜头。

4. 扩展 Transformers 用于视频生成

Sora 是一个扩散模型。给定输入的噪声 Patches（以及文本提示等条件信息），它被训练来预测原始的'干净'Patches。重要的是，Sora 是一个扩散 Transformers。Transformer 在语言建模、计算机视觉和图像生成等多个领域都表现出了显著的缩放特性。

通过引入注意力机制，Sora 能够捕捉长距离依赖关系，这对于理解视频中物体的连续运动和场景变化至关重要。

5. 可变持续时间、分辨率、纵横比

采样灵活性

Sora 可以对宽屏 1920x1080p 视频、垂直 1080x1920 视频以及介于两者之间的所有视频进行采样。这使 Sora 可以直接以原始纵横比为不同设备创建内容。它还能够在以全分辨率生成之前以较小的尺寸快速制作内容原型，所有这些都使用相同的模型。

改进的取景和构图

根据经验发现，以原始纵横比对视频进行训练可以改善构图和取景。将 Sora 与模型的一个版本进行了比较，该模型将所有训练视频裁剪为正方形，这是训练生成模型时的常见做法。在方形裁剪上训练的模型（左）有时会生成视频，其中主体仅部分可见。相比之下，Sora（右）的视频改善了取景。

6. 语言理解

训练文本到视频生成系统需要大量带有相应文本标题的视频。OpenAI 应用 DALL·E 3 到视频。首先训练一个高度描述性的字幕器模型，然后使用它为训练集中的所有视频生成文本字幕。发现对高度描述性视频字幕的培训可以提高文本保真度以及视频的整体质量。

与 DALL·E 3，还利用 GPT 将简短的用户提示转换为更长的详细字幕，然后发送到视频模型。这使 Sora 能够准确遵循用户提示生成高质量的视频。这种多模态对齐技术确保了文本语义与视觉内容的精确匹配。

技术影响与展望

Sora 的出现标志着视频生成技术迈上了一个新台阶。其背后的世界模型理念不仅仅是为了生成视频，更是为了构建一个能够理解物理世界运行规律的通用智能系统。

行业应用潜力

• 影视制作：大幅降低特效和视频制作的成本，实现快速原型设计。
• 游戏开发：自动生成过场动画和动态场景，丰富游戏体验。
• 教育娱乐：创造交互式的学习内容和沉浸式的故事体验。

安全与挑战

尽管 Sora 展示了强大的能力，但其潜在的滥用风险也不容忽视。Deepfake 技术的进步可能带来虚假信息传播的风险。OpenAI 表示将采取安全措施，包括水印技术和访问控制，以确保技术被负责任地使用。

此外，模型在复杂物理交互和因果推理上的局限性表明，完全模拟真实世界仍需时日。未来的研究将集中在提高物理一致性、减少幻觉以及增强对长时序逻辑的理解上。

结语

Sora 代表了当前文生视频领域的最高水平之一。通过结合扩散模型、Transformer 架构和强大的语言理解能力，OpenAI 为 AI 视频生成树立了新的标杆。随着技术的不断迭代和完善，我们有理由期待更加逼真、可控和智能的视频生成工具问世。