LatentSync 1.5 开源项目介绍
最近，字节跳动将其最新 AI 数字人项目：LatentSync 1.5 开源出来了。
项目简介
LatentSync 1.5 是由字节跳动与北京交通大学联合开源的端到端唇形同步框架，基于音频条件的潜在扩散模型构建。作为一项颠覆性的技术创新，LatentSync 摒弃了传统方式中必备的中间 3D 表示以及 2D 特征点，依靠 Stable Diffusion 的强大生成能力，直接建模复杂的音视频关联，让无形的音频精准转化为动态鲜活、逼真度极高的说话视频。
相比 1.0 版本，LatentSync 1.5 在 2025 年 3 月 14 日发布的最新版本带来了三大核心升级：
- 时间一致性增强：通过添加时间层，优化了 TREPA（时间表示对齐）技术，有效减少了视频帧间的抖动问题，使生成的视频更加流畅自然，尤其在长视频生成中效果更为显著。
- 中文性能优化：针对早期版本中文支持不佳的问题，1.5 版本加入了大量中文训练数据集，显著提高了中文视频的唇形匹配度，使生成效果更加自然流畅。
- 硬件兼容性提升：通过一系列优化措施，将第二阶段训练的显存需求从难以企及的高要求降低至仅需 20GB，使其能够在 RTX 3090 等消费级显卡上顺利运行，大大降低了使用门槛。
功能特点
以下是官网给出的技术架构图，主要功能包括如下：
1. 端到端唇形同步技术
LatentSync 1.5 采用了基于潜在扩散模型的创新框架，通过 Whisper 模型将音频梅尔频谱图转换为音频嵌入，然后通过交叉注意力层与视频帧的潜在表示进行对齐。这种架构能够直接学习音频与视觉之间的复杂关系，无需依赖中间表示，实现更加自然的唇形同步效果。
2. 潜在空间操作
与传统在像素级进行处理的扩散模型不同，LatentSync 1.5 在低维潜在空间中进行建模和生成。这种方法大幅降低了计算复杂度，同时保留了高分辨率图像的视觉质量，使模型能够在消费级硬件上高效运行。
3. 时序表示对齐（TREPA）技术
为解决扩散过程中帧间不连贯的问题，LatentSync 1.5 引入了专门的时序层，处理视频帧之间的时序关系，并利用大规模自监督视频模型（如 VideoMAE）提取的时序表示，将生成的视频帧与真实帧对齐。这项技术有效减少了闪烁伪影，显著提升了视频的时序一致性。
4. 多语言支持
1.5 版本特别优化了中文视频的表现，通过增加中文训练数据和针对性的模型调整，使中文音频与唇部动作的匹配度大幅提升，解决了早期版本中文支持较弱的问题。
5. 硬件友好设计
通过梯度检查点、FlashAttention-2 技术以及高效的 CUDA 缓存管理，LatentSync 1.5 将显存需求降至 20GB，使其能在更多消费级 GPU 上运行，大大提高了可访问性。
安装部署详细教程
LatentSync 1.5 提供了多种部署方式，包括本地部署（Linux/Windows）和一键安装包。根据你的技术水平和硬件条件，可以选择最适合你的部署方式。
方法一：Windows 一键安装包（推荐新手使用）
对于不熟悉命令行和环境配置的用户，一键安装包是最简单的选择：
- 下载 LatentSync 1.5 Windows 一键安装包（可在 GitHub release 中获取）
- 解压到任意目录（路径中最好不要包含中文和空格）