AI 视频生成模型构建与实战指南

2.3 项目结构与版本控制 初始化一个结构清晰的代码仓库：

video_generation_from_scratch/
├── configs/          # 配置文件
│   ├── model.yaml    # 模型超参数
│   └── training.yaml # 训练超参数
├── data/             # 数据相关
│   ├── processors/   # 数据预处理脚本
│   └── datasets/     # 数据集加载器
├── models/           # 模型定义
│   ├── unet_2d_condition.py # 基础图像 UNet
│   ├── temporal_attention.py # 时间注意力模块
│   └── video_unet.py      # 整合后的视频 UNet
├── training/         # 训练脚本
│   ├── train_sft.py # 监督微调脚本
│   └── trainers/    # 训练器类
├── inference/        # 推理脚本
│   └── generate_video.py
├── utils/            # 工具函数
├── outputs/          # 训练输出、日志、生成样本
├── requirements.txt
└── README.md

亲手构建一个简易视频生成模型

这是最核心的部分。我们将像搭积木一样，构建模型的核心组件。

3.1 构建基石：改造图像 UNet 以感知时间 我们从 Hugging Face diffusers 库加载一个预训练的 UNet（如 stabilityai/stable-diffusion-2-1 的 UNet）。但标准 UNet 是为图像设计的，我们需要改造它。

3.1.1 时间注意力模块（Temporal Attention Module） 这是让模型理解'运动'的关键。我们将在 UNet 的每个下采样和上采样块之后插入此模块。

import torch
import torch.nn as nn
import torch.nn.functional as F

class TemporalAttentionBlock(nn.Module):
    """
    轻量化的时间注意力模块，处理帧序列间的关系。
    输入：[batch_size, channels, num_frames, height, width]
    输出：同形状，但帧间特征已通过注意力融合。
    """
    def __init__(self, channels, num_heads=8):
        super().__init__()
        self.channels = channels
        self.num_heads = num_heads
        self.head_dim = channels // num_heads
        
        # 将时空特征投影到 Q, K, V
        self.to_qkv = nn.Linear(channels, channels * 3)
        self.to_out = nn.Linear(channels, channels)
        # 可选的层归一化
        self.norm = nn.LayerNorm(channels)

    def forward(self, x):
        # x shape: (batch, channels, frames, height, width)
        b, c, t, h, w = x.shape
        
        # 1. 将空间维度折叠，专注于时间关系
        x_reshaped = x.permute(0, 2, 3, 4, 1).reshape(b * t * h * w, c)
        # (b*t*h*w, c)
        x_normed = self.norm(x_reshaped)
        
        # 2. 计算 Q, K, V
        qkv = self.to_qkv(x_normed).chunk(3, dim=-1)
        q, k, v = map(lambda t: t.reshape(b, t * h * w, self.num_heads, self.head_dim).transpose(1, 2), qkv)
        
        # 3. 缩放点积注意力
        scale = self.head_dim ** -0.5
        attn = (q @ k.transpose(-2, -1)) * scale
        attn = F.softmax(attn, dim=-1)
        
        # 4. 应用注意力并输出
        out = (attn @ v).transpose(1, 2).reshape(b * t * h * w, c)
        out = self.to_out(out)
        
        # 5. 残差连接并恢复形状
        out = (out + x_reshaped).reshape(b, t, h, w, c).permute(0, 4, 1, 2, 3)
        return out

3.2 组装视频 UNet 现在，我们将时间模块插入到预训练的 UNet 中。为了节省资源，我们冻结原始 UNet 的大部分参数，只训练新加入的时间模块和少量适配层。

class VideoUNet(nn.Module):
    def __init__(self, pretrained_unet, num_frames=8):
        super().__init__()
        self.unet_2d = pretrained_unet  # 冻结的预训练图像 UNet
        self.num_frames = num_frames
        
        # 在每个下采样和上采样阶段后插入时间注意力模块
        self.temporal_attn_down = nn.ModuleList([
            TemporalAttentionBlock(block.out_channels) for block in self.unet_2d.down_blocks if hasattr(block, 'out_channels')
        ])
        self.temporal_attn_up = nn.ModuleList([
            TemporalAttentionBlock(block.out_channels) for block in self.unet_2d.up_blocks if hasattr(block, 'out_channels')
        ])
        
        # 一个简单的投影层，将 CLIP 文本编码扩展到时间维度
        self.text_encoder_proj = nn.Linear(768, 768 * num_frames)

    def forward(self, noisy_latents, timestep, encoder_hidden_states):
        # noisy_latents: [batch, channels, frames, height, width]
        # encoder_hidden_states: [batch, seq_len, text_dim]
        
        # 1. 扩展文本条件到时间维度
        b, c, t, h, w = noisy_latents.shape
        text_emb = encoder_hidden_states  # (b, seq_len, 768)
        text_emb_expanded = self.text_encoder_proj(text_emb.mean(dim=1)).reshape(b, t, -1)
        # 现在 text_emb_expanded 形状为 (b, t, 768)，可以与时间特征交互
        
        # 2. 将视频潜在表示拆分为帧，通过 2D UNet 处理（冻结）
        frame_features = []
        for frame_idx in range(t):
            single_frame = noisy_latents[:, :, frame_idx, :, :]  # (b, c, h, w)
            # 此处需要将扩展后的文本条件与当前帧关联，简化处理：取均值或对应时间片
            cond = text_emb_expanded[:, frame_idx, :].unsqueeze(1)  # (b, 1, 768)
            with torch.no_grad():  # 冻结 2D UNet 的前向传播
                frame_out = self.unet_2d(single_frame, timestep, encoder_hidden_states=cond).sample
                frame_features.append(frame_out)
        
        # 3. 堆叠帧特征并应用时间注意力
        stacked_features = torch.stack(frame_features, dim=2)  # (b, c, t, h, w)
        
        # 在下采样路径应用时间注意力
        temporal_features = stacked_features
        for i, attn_block in enumerate(self.temporal_attn_down):
            temporal_features = attn_block(temporal_features)
        # 这里可以加入下采样操作，与实际 UNet 结构对齐，简化起见省略
        
        # 在上采样路径应用时间注意力（假设有对应特征）
        for i, attn_block in enumerate(self.temporal_attn_up):
            temporal_features = attn_block(temporal_features)
        
        # 4. 输出（此处简化，实际需与 UNet 输出层结合）
        return temporal_features.mean(dim=2)  # 聚合时间维度，输出 (b, c, h, w) 的噪声残差

*注：这是一个高度简化的示意图，真实集成需要仔细对齐特征图尺寸，并可能涉及更复杂的时间 - 空间交叉注意力设计。

3.3 数据处理管道（Data Pipeline） 模型需要视频数据来学习运动。我们使用一个小型数据集，如 WebVid 或自收集的短视频片段。

import torch
from torch.utils.data import Dataset
import decord  # 高效视频读取库
from PIL import Image
import torchvision.transforms as T

class VideoDataset(Dataset):
    def __init__(self, video_paths, captions, num_frames=8, frame_size=256):
        self.video_paths = video_paths
        self.captions = captions
        self.num_frames = num_frames
        self.transform = T.Compose([
            T.Resize((frame_size, frame_size)),
            T.ToTensor(),
            T.Normalize([0.5], [0.5])  # 扩散模型常用归一化
        ])

    def __len__(self):
        return len(self.video_paths)

    def __getitem__(self, idx):
        vr = decord.VideoReader(self.video_paths[idx])
        total_frames = len(vr)
        # 均匀采样帧
        frame_indices = torch.linspace(0, total_frames - 1, self.num_frames).long()
        frames = vr.get_batch(frame_indices.numpy()).asnumpy()  # (t, h, w, c)
        
        # 预处理帧
        frames_processed = []
        for frame in frames:
            img = Image.fromarray(frame)
            img_tensor = self.transform(img)  # (c, h, w)
            frames_processed.append(img_tensor)
        
        video_tensor = torch.stack(frames_processed, dim=0)  # (t, c, h, w)
        caption = self.captions[idx]
        return {"pixel_values": video_tensor, "caption": caption}

3.4 训练循环设计与实现 我们采用两阶段训练法：首先微调 UNet 的图像部分以适应我们的数据分布，然后解冻时间模块进行联合训练。

def train_epoch(model, dataloader, optimizer, scheduler, device, vae, text_encoder, noise_scheduler):
    model.train()
    total_loss = 0
    for batch in dataloader:
        # 1. 准备数据
        videos = batch["pixel_values"].to(device)  # (b, t, c, h, w)
        captions = batch["caption"]
        
        # 2. 编码：将视频帧通过 VAE 编码为潜在表示，文本通过 CLIP 编码
        with torch.no_grad():
            # 将视频帧批次维度合并以通过 VAE
            b, t, c, h, w = videos.shape
            latents = vae.encode(videos.reshape(b * t, c, h, w)).latent_dist.sample()
            latents = latents.reshape(b, t, -1, h // 8, w // 8) * vae.config.scaling_factor
            
            text_inputs = tokenizer(captions, return_tensors="pt", padding=True, truncation=True).to(device)
            text_embeddings = text_encoder(**text_inputs).last_hidden_state
        
        # 3. 扩散过程：添加噪声
        noise = torch.randn_like(latents)
        timesteps = torch.randint(0, noise_scheduler.num_train_timesteps, (b,), device=device).long()
        noisy_latents = noise_scheduler.add_noise(latents, noise, timesteps)
        
        # 4. 前向传播与损失计算
        noise_pred = model(noisy_latents, timesteps, encoder_hidden_states=text_embeddings)
        loss = F.mse_loss(noise_pred, noise)
        
        # 5. 反向传播
        optimizer.zero_grad()
        loss.backward()
        torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)
        optimizer.step()
        scheduler.step()
        total_loss += loss.item()
    
    return total_loss / len(dataloader)

系统调试与效果评估

模型训练完成后，调试和评估是检验其 AI 特性的关键环节。

4.1 推理生成流程

@torch.no_grad()
def generate_video(model, prompt, vae, text_encoder, tokenizer, noise_scheduler, num_frames=16, num_inference_steps=50):
    device = model.device
    
    # 1. 编码文本
    text_input = tokenizer([prompt], padding=True, return_tensors="pt").to(device)
    text_emb = text_encoder(**text_input).last_hidden_state
    
    # 2. 初始化随机噪声
    latent_shape = (1, 4, num_frames, 32, 32)  # 假设潜在空间尺寸
    noisy_latents = torch.randn(latent_shape, device=device)
    
    # 3. 迭代去噪
    noise_scheduler.set_timesteps(num_inference_steps)
    for t in noise_scheduler.timesteps:
        # 预测噪声残差
        noise_pred = model(noisy_latents, t, encoder_hidden_states=text_emb)
        # 计算更少的噪声的潜在表示
        noisy_latents = noise_scheduler.step(noise_pred, t, noisy_latents).prev_sample
    
    # 4. 通过 VAE 解码为视频
    clean_latents = noisy_latents.permute(0, 2, 1, 3, 4).reshape(1 * num_frames, 4, 32, 32) / vae.config.scaling_factor
    frames = vae.decode(clean_latents).sample
    frames = ((frames / 2) + 0.5).clamp(0, 1).cpu().permute(0, 2, 3, 1).numpy()  # (t, h, w, c)
    
    # 5. 保存为视频
    import imageio
    writer = imageio.get_writer('output_video.mp4', fps=8)
    for frame in frames:
        writer.append_data((frame * 255).astype('uint8'))
    writer.close()

4.2 调试：诊断与解决常见问题 生成视频问题繁多，需系统诊断。

4.3 定性评估与定量指标

• 定性评估（最重要）：
  • 提示词遵循度：生成的视频主题、主体、动作是否匹配描述。
  • 视觉质量：单帧是否清晰，有无明显 artifacts。
  • 时间一致性：物体是否稳定存在，颜色、形状是否在帧间突变。
  • 运动动态性：运动是否自然、流畅、符合物理直觉。
• 简易定量指标（用于迭代）：
  • 帧间差异（Frame Difference）：计算连续帧像素级差异的均值。过低可能静态，过高可能闪烁。寻找合理区间。
  • CLIP 相似度得分：计算生成视频的帧与输入提示词的 CLIP 文本特征相似度，取平均。
  • 人工评分：设计一个简单的评分表（1-5 分），定期对生成样本进行主观评分，跟踪模型表现。

模型优化与进阶探索

当基础模型能够运行后，广阔的优化空间便随之展开。

5.1 模型层面的优化

1. 架构改进：
   • 替换为 DiT：将 UNet 主干替换为更现代的扩散 Transformer（DiT）。DiT 将所有输入视为时空 Patch 序列，在 scalability 上表现更好。可以从小规模开始，例如一个 12 层的 ViT-base。
   • 引入运动模块：参考相关研究，显式地加入运动估计模块（如一个轻量光流网络），将运动信息作为条件输入，引导视频生成。
   • LoRA（Low-Rank Adaptation）：这是我们后续优化的首选。不为整个大模型更新权重，而是为注意力模块注入可训练的低秩分解矩阵，高效适配新风格或物体。例如，可以用少量（几十条）特定风格的视频微调出一个'水墨风'LoRA 适配器。
   • ControlNet：为视频生成引入空间控制条件。例如，输入首帧的深度图或边缘图，让生成的视频在空间布局上保持高度一致。
2. 低显存优化：
   • 梯度检查点：用计算时间换显存，在反向传播时重新计算中间激活。
   • 模型量化：将模型权重从 FP32 转换为 INT8 或 FP16，可大幅减少显存占用和加速推理。
   • 使用 FramePack 思想：借鉴的思路，不一次性处理所有帧，而是将长视频打包成片段，在潜在空间进行压缩和重组，实现长视频生成。

高效微调：

# LoRA 注入注意力层的简化示例
class LoRA_Linear(nn.Module):
    def __init__(self, linear_layer, rank=4):
        super().__init__()
        self.linear = linear_layer  # 冻结原权重
        self.lora_A = nn.Parameter(torch.randn(linear_layer.in_features, rank) * 0.01)
        self.lora_B = nn.Parameter(torch.zeros(rank, linear_layer.out_features))

    def forward(self, x):
        return self.linear(x) + (x @ self.lora_A) @ self.lora_B

5.2 数据与训练策略优化

1. 数据工程：
   • 数据清洗与标注：质量远胜于数量。清洗掉模糊、水印重的视频。为视频打上精准、结构化的描述标签（如'一个男人从左向右奔跑'而不仅是'男人跑步'），这能极大提升提示词遵循能力。
   • 数据增强：对视频进行时域上的裁剪、反转，空间上的裁剪、色彩抖动，可以增加数据多样性，提升模型鲁棒性。
2. 损失函数设计：
   • 混合损失：除了基础的噪声预测 MSE 损失，可以加入：
     • 感知损失（Perceptual Loss）：利用预训练 VGG 网络，确保生成视频在高层语义特征上与真实视频相似。
     • 对抗损失（Adversarial Loss）：引入一个视频判别器（Discriminator），与生成器进行对抗训练，可以提升生成视频的细节真实感。
3. 多阶段训练：模仿 SkyReels-V2 的策略，先在大规模通用数据上预训练，再在高质量、特定风格的数据集上进行监督微调（SFT），最后可能通过强化学习（RL） 基于人类偏好（如运动更自然得分更高）进一步优化。

5.3 推理阶段优化

1. 提示词工程：
   • 学习使用结构化的提示词，例如：'[主体描述]，正在 [动作描述]，在 [场景描述] 中，[风格描述]，[画质描述]，[镜头运动描述]'。
   • 善用负向提示词（Negative Prompt），明确告诉模型不希望出现的内容，如'变形、模糊、多余的手指、画面撕裂'。
2. 采样器与调度器：
   • 尝试不同的采样器（如 DDIM, DPM Solver++, UniPC），它们在不同的步数下有不同的速度 - 质量权衡。
   • 调整分类器自由引导（CFG Scale）。过高的值可能导致颜色饱和度过高、画面生硬，过低则可能不遵循提示词。

从玩具到应用——部署与展望

一个能在本地生成几秒视频的模型，已经具备了向应用迈进的基础。

6.1 简易部署方案

1. 云服务集成：参考主流云平台的部署方案，将模型部署到云端，提供弹性算力和 API 接口，方便集成到应用程序中。

本地 API 服务：使用 FastAPI 或 Gradio，将模型包装成一个 Web 服务。

import gradio as gr
from inference import generate_video

def gradio_generate(prompt, length, steps):
    video_path = generate_video(model, prompt, num_frames=length, num_inference_steps=steps)
    return video_path

demo = gr.Interface(
    fn=gradio_generate,
    inputs=[gr.Textbox(label="提示词"), gr.Slider(8, 32, step=8), gr.Slider(20, 100)],
    outputs=gr.Video(label="生成视频")
)
demo.launch(server_name="0.0.0.0")

6.2 应用场景展望 你的模型可以成为以下应用的起点：

• 个性化动态壁纸/表情包生成器。
• 教育内容辅助：将静态图表、历史图片转化为简短动态演示。
• 电商短视频快速生成：输入产品静物图，生成简单的旋转展示视频。
• 游戏或影视制作的动态故事板（Animatic）快速生成。

6.3 持续学习与社区 AI 视频生成技术日新月异。保持学习至关重要：

• 关注顶级会议与期刊：CVPR, ICCV, NeurIPS, ICLR, SIGGRAPH。关注 arXiv 上 cs.CV 方向的最新论文。
• 深入开源项目：深入研究开源社区中的前沿模型，理解其工程实现细节。
• 参与社区：在开源社区的相关频道中交流，分享你的进展和问题。

结语：你的创造之旅，刚刚开始

至此，你已经完成了一项从理论到实践的完整旅程：从理解扩散模型的基本原理，到亲手编写代码构建一个具备时序建模能力的视频生成模型，再到系统的调试、评估与优化。这个过程中，你得到的不仅仅是一个可以运行的模型文件，更是对 AI 视频生成核心逻辑的深刻洞察，以及独立解决复杂问题的工程能力。

你构建的模型是一个起点，一个充满生命力的'原型'。它可能生成的视频还很短、很粗糙，但它的每一个神经元都承载着你赋予它的学习目标。它身上有广阔的优化空间：无论是用 LoRA 微调出独特的风格，还是引入 ControlNet 实现精准控制，或是尝试 DiT 架构探索规模定律，每一步都是通往更强大 AI 创造力的阶梯。

记住，今天顶尖的模型，其起点或许也曾是某个研究者在实验室里搭建的简陋原型。重要的不是起点的高度，而是方向的确立和迭代的速度。 现在，代码已就绪，引擎已启动，期待你在这个无限可能的赛道上，创造出属于自己的精彩。