开源 AI 去字幕工具 VSR 深度解析：架构、算法与实战

STTN：时空 Transformer 做视频修复

STTN 来自 ECCV 2020 论文《Learning Joint Spatial-Temporal Transformations for Video Inpainting》。其核心思想是将所有待修复帧作为一个整体，输入一个时空 Transformer 网络。通过多尺度 patch 级别的注意力机制，在时间维度和空间维度之间建立对应关系，从周围帧中搬运纹理来填补当前帧的缺失区域。

在 VSR 中的实现细节包括：

• STTN_NEIGHBOR_STRIDE：参考帧步长，例如取 5，表示每隔 5 帧采样一帧作为参考。
• STTN_REFERENCE_LENGTH：参考帧数量，决定时间上下文范围。
• STTN_MAX_LOAD_NUM：单批处理的最大帧数，受显存限制。
• STTN_SKIP_DETECTION：可以跳过字幕检测，直接对固定区域修复，适合场景固定、字幕位置稳定的视频。

特点：适合真人视频、运动较自然的场景，如电影、剧集、访谈。速度相对较快，显存占用可控，对字幕位置变化不大、背景相对简单的视频效果很好。

LaMa：高分辨率图像修复的大杀器

LaMa 来自 WACV 2022 论文《Resolution-robust Large Mask Inpainting with Fourier Convolutions》。它引入快速傅里叶卷积（FFC），使网络具有图像级感受野，能够一次性利用整张图的信息来修补大面积缺失。专门针对大掩码场景设计，对高分辨率图像和周期性结构（如栏杆、砖墙）效果很好。

在 VSR 中的实现主要涉及：

• MODE = InpaintMode.LAMA
• LAMA_SUPER_FAST = False 以保证质量（若为 True 会使用更快的近似推理）。

特点：对动画、卡通、图文排版类视频效果很好，因为这类内容本身就具有明显的图形和边界。不支持跳过检测，必须先生成掩码，再逐帧修复。在高分辨率图片上表现优异，但视频逐帧处理会略慢于 STTN。

ProPainter：追求极致效果的重型方案

ProPainter 来自 ICCV 2023 论文《ProPainter: Improving Propagation and Transformer for Video Inpainting》。它包含三大组件：循环流完成、双域传播、掩码引导的稀疏 Transformer。通过光流传播加 Transformer 注意力，在时间维度上做更精细的纹理传递，适合运动剧烈、镜头频繁切换的视频。

在 VSR 中的实现需要注意显存配置：

• PROPAINTER_MAX_LOAD_NUM：控制单批处理帧数，需要根据显存调整。例如 720p 视频 80 帧约需 8G 显存，1280x720 视频 80 帧约需 25G 显存。

特点：对运动剧烈、镜头切换频繁的视频效果最好。显存占用大、速度慢，是重型武器，适合对效果要求极高的场景。

算法横向对比

实际使用中，建议先尝试 STTN，兼顾速度和效果；对动画、图文类内容使用 LaMa；对运动剧烈、效果要求极高的场景再上 ProPainter。

工程实现细节：从掩码生成到视频输出

掩码生成：从检测框到二值掩码

在 backend/tools/inpaint_tools.py 中，VSR 提供了 create_mask 等工具函数。它将检测到的文本框坐标转换为二值掩码：字幕区域设为 1（需要修复），其余区域设为 0。对掩码进行适当的形态学操作（如膨胀），确保字幕边缘被完全覆盖，避免修复后出现文字边缘残留。

场景切换与帧间一致性

VSR 引入了场景检测模块 backend/scenedetect，使用 ContentDetector 检测场景切换点。通过 get_scene_div_frame_no 获取发生场景切换的帧号，在这些点重新计算字幕区域，避免不同场景的字幕区域互相串扰。这保证了在镜头切换时，修复不会把前一场景的内容错误地传播到下一场景。

FFmpeg 与视频 I/O

VSR 在 backend/ffmpeg 目录下预置了各平台的 FFmpeg 可执行文件（Windows、Linux、macOS），用于从原始视频中提取音频轨道，将修复后的帧序列重新编码为视频，并合并音频生成最终的无字幕视频。配置中默认开启 USE_H264 = True，以便生成的视频能在安卓手机上正常播放。

ONNX 与 DirectML：让非 NVIDIA 显卡也能跑

在 config.py 中，VSR 做了一件很工程化的事情：自动检测 ONNX Runtime 可用的执行提供者，支持 DirectML（AMD/Intel/通用 GPU）、ROCm、OpenVINO、Metal、CoreML、CUDA 等。如果检测到非 CPU Provider，会将 Paddle 模型自动转换为 ONNX 格式，便于用 ONNX Runtime 推理。

这意味着 NVIDIA 显卡走 CUDA + PyTorch / Paddle 的 GPU 推理，而 AMD / Intel 显卡通过 DirectML + ONNX Runtime 也能跑，兼容性很好。

性能调优：参数调优与效果权衡

README 中专门提供了常见问题解答，这里把关键点整理成极客向的调优指南。

速度优先：STTN + 跳过检测

MODE = InpaintMode.STTN
STTN_SKIP_DETECTION = True

优点是可以省去整遍字幕检测，大幅缩短处理时间。缺点是可能会把本不该处理的帧当作有字幕来修复，造成误伤，也可能漏掉一些字幕帧导致残留。适合字幕位置非常固定、视频时长较长、对时间敏感的场景。

效果优先：LaMa / ProPainter + 更大上下文

对于 LaMa，设置 LAMA_SUPER_FAST = False，关闭快速近似推理，保证修复质量。对于 ProPainter，在显存允许的前提下，尽量增大 PROPAINTER_MAX_LOAD_NUM。对于 STTN，增大 STTN_REFERENCE_LENGTH 和 STTN_MAX_LOAD_NUM，可以获得更长的时序上下文，提升修复连贯性。

检测与掩码调优

config.py 中提供了若干像素级参数：

• THRESHOLD_HEIGHT_WIDTH_DIFFERENCE：过滤高宽比异常的文本框，减少误检。
• SUBTITLE_AREA_DEVIATION_PIXEL：放大掩码范围，避免文字边缘残留。
• PIXEL_TOLERANCE_X / PIXEL_TOLERANCE_Y：用于判断两个文本框是否同一行，影响连续帧字幕区域统一。

这些参数对最终效果影响很大，需要在实际视频中多调几次。

本地开源 vs 在线商用：VSR 与云端 AI 去字幕的对比

在真实业务中，团队往往需要在本地开源工具和在线 SaaS 服务之间做选择。我们对比一下 VSR 和典型的商业云端去字幕服务。

云端服务的典型特点

根据行业常见情况，云端服务通常支持网页端和小程序，利用云端 GPU 加速，1 分钟视频平均处理约 30 秒。核心技术包括深度学习模型识别多种字幕样式，内容感知算法进行背景填充，支持多语言。适用场景涵盖短视频创作者去除原视频字幕添加文案，以及教育培训机构和企业营销团队处理课程视频和宣传素材。

VSR vs 云端服务：适用场景分析

如果你是技术团队，希望完全掌控数据与模型，根据业务场景训练自己的修复模型，嵌入到现有的视频处理流水线，那么 VSR 是首选。如果你是一个内容创作者或运营团队，更关注上传、处理、下载的极致简化，不想折腾环境、显卡和依赖，那么像商业云端服务这样的在线服务会更合适。

在实际项目中，两者也可以结合：用 VSR 做本地化、高隐私需求的批量处理；用云端服务做移动端、轻量级的临时处理。

实操建议：从零到一跑通 VSR

环境准备（以 CUDA 版本为例）

1. 安装 Python 3.12+。
2. 创建虚拟环境：

   python -m venv videoEnv
   source videoEnv/bin/activate # Linux/macOS
   # 或 Windows: videoEnv\Scripts\activate
   

3. 安装依赖：

   git clone https://github.com/YaoFANGUK/video-subtitle-remover.git
   cd video-subtitle-remover
   pip install -r requirements.txt
   

4. 安装 PaddlePaddle GPU 版本（CUDA 11.8）：

   pip install paddlepaddle-gpu==3.0.0 -i https://www.paddlepaddle.org.cn/packages/stable/cu118/
   

5. 安装 PyTorch（CUDA 11.8）：

   pip install torch==2.7.0 torchvision==0.22.0 --index-url https://download.pytorch.org/whl/cu118
   

运行 GUI / CLI

• GUI：

  python gui.py
  

• CLI：

  python ./backend/main.py
  

在 GUI 中，你可以选择输入视频或图片，指定字幕区域（或自动检测），选择修复算法（STTN、LaMa、ProPainter），调整参数（如参考帧长度、跳过检测等）。

进阶：如何在自己的业务中榨干 VSR？

模型替换与训练

README 中提到，design 目录里提供了训练方法，backend/tools/train 中有训练代码。你可以用自己的字幕数据训练文本检测模型，针对特定类型的视频（如动画、体育赛事）训练专用的修复模型，将训练好的模型替换 backend/models 下的对应模型。

与现有视频处理流水线集成

由于 VSR 是纯 Python + FFmpeg 的工程，你可以将其封装为 REST API / gRPC 服务，对外提供去字幕能力。与剪辑、转码、审核等流程串联，形成完整的视频处理管道。结合分布式任务队列（如 Celery、Ray）做大规模并发处理。

小结：VSR 的价值与局限

价值：

• 把前沿的视频修复论文（STTN、LaMa、ProPainter）工程化，变成可直接使用的工具。
• 完全本地化运行，保护数据隐私，适合企业级落地。
• 支持多种 GPU 平台，兼容性好。

局限：

• 对硬件要求较高，尤其 ProPainter 显存占用大。
• 复杂动态场景、半透明字幕、特效字幕仍可能效果不佳，需要进一步调参或训练模型。