LTX-2.3:开源AI视频生成的新标杆,一个模型同时生成视频和音频

LTX-2.3:开源AI视频生成的新标杆,一个模型同时生成视频和音频

当 AI 视频生成不再是闭源巨头的专利

在 AI 视频生成领域,我们见证了太多令人惊艳的 demo,但它们大多藏在闭源的高墙之后。而今天,Lightricks 发布的 LTX-2.3 正在改写这个故事——这是一个完全开源、可本地运行、能同时生成高质量视频和同步音频的基础模型。更重要的是,它不只是一个实验室产物,而是一个真正为生产环境设计的创作引擎。

开源vs闭源模型对比学术图表

什么是 LTX-2.3?

LTX-2.3 是 Lightricks 推出的最新一代音视频生成基础模型,它基于 Diffusion Transformer(DiT)架构构建,拥有约 190 亿参数,其中 140 亿用于视频处理,50 亿用于音频生成。这是业界首批能够在单一统一架构中同时生成同步音频和视频的开源模型之一。

与前代 LTX-2 相比,2.3 版本带来了全面的质量提升。它重建了 VAE(变分自编码器),使用更高质量的数据进行训练,显著提升了细节保留能力;升级了 HiFi-GAN 声码器,让音频输出更加清晰自然;增强了图生视频的一致性;改进了提示词理解能力,尤其是在处理包含多个主体、空间关系或特定风格指令的复杂提示词时表现更出色。citation

核心能力:不只是生成视频

LTX-2.3 的能力远超传统的文生视频模型,它支持三种主要的生成模式,每一种都为创作者打开了新的可能性。

LTX-2.3三种生成模式学术示意图

文生视频(Text-to-Video)是最基础也是最直接的能力。你只需要用自然语言描述想要的画面,模型就能生成对应的视频片段,并自动配上与场景匹配的环境音效或背景音乐。这不是简单的“根据文字生成画面”,而是对场景的深度理解——它懂得空间关系、物理规律、运动逻辑,生成的视频在时间维度上保持高度一致性。

图生视频(Image-to-Video)让静态图片动起来。上传一张图片,模型会基于图片内容生成连贯的运动视频,同时配上合适的音效。2.3 版本在这个能力上有显著提升,图片到视频的一致性更强,生成的运动更自然,细节保留更完整。这对于需要将产品图、概念图、角色设计图转化为动态展示的创作者来说是巨大的福音。

音频驱动视频(Audio-to-Video)是 LTX-2.3 最独特的能力之一。你可以提供一段音频,模型会生成与音频节奏、情绪、内容完全同步的视频画面。这意味着声音不再是视频的附属品,而是可以成为创作的起点——音乐的节拍定义了画面的运动,语音的语调影响了场景的氛围,音效的变化驱动了视觉的转换。这为播客配图、音乐 MV 制作、有声读物可视化等场景提供了全新的创作路径。

技术突破:细节中见真章

LTX-2.3 的提升不是表面的,而是深入到架构层面的优化。

模型重建了 VAE 潜在空间,这个改进直接提升了画面的清晰度和细节保留能力。在之前的版本中,面部特征、头发纹理、文字渲染、边缘细节往往会在生成过程中丢失或模糊,而新的 VAE 能够在整个画面中保持这些精细元素的完整性。这意味着生成的视频不再是“看起来还不错”的程度,而是真正达到了可用于专业制作的质量标准。

文本连接器的容量和架构也得到了增强。这个连接器负责将提示词编码与生成模型连接起来,它的改进让模型能够更准确地理解复杂的提示词,尤其是那些包含多个主体、空间关系或特定风格指令的描述。生成结果与提示词的偏离大幅减少,创作者的意图能够更精确地传达到最终输出中。

音频质量的提升同样显著。升级后的 HiFi-GAN 声码器让生成的音频更加清晰,减少了之前版本中存在的金属感和失真问题。虽然在生成不包含语音的纯音效时质量仍有提升空间,但整体的音频表现已经达到了实用级别。

模型原生支持竖屏视频生成,分辨率可达 1080×1920,这对于短视频平台的内容创作者来说是重要的功能。横屏和竖屏在相同分辨率下的定价和生成质量完全一致,创作者可以根据平台需求灵活选择。

开源与本地化:真正属于创作者的工具

LTX-2.3 最令人兴奋的地方在于它的开放性。模型权重在 HuggingFace 上完全开放,采用 Apache 2.0 许可协议,允许商业使用。发布包包含基础开发检查点、量化的 fp8 变体,以及用于快速推理的蒸馏模型。这意味着无论你是个人开发者、小型工作室还是企业用户,都可以自由使用、修改和部署这个模型。

开源生态系统架构学术图

模型支持 LoRA 微调,这让定制化成为可能。你可以针对特定风格、角色或使用场景训练自己的 LoRA,让模型更符合你的创作需求。官方提供的训练工具让这个过程变得相对简单,即使是没有深厚机器学习背景的创作者也能在社区的帮助下完成微调。

更重要的是,LTX-2.3 可以完全在本地运行。Lightricks 同步发布了 LTX Desktop,这是一个基于 LTX-2.3 引擎构建的完整视频编辑器,完全开源,完全本地运行,没有云依赖。这不是一个简化的 demo 应用,而是 Lightricks 团队内部实际使用的生产工具。它将非线性视频编辑与设备端 AI 生成结合在一起,你可以在时间线上直接生成多个版本的片段并无损切换,可以使用上下文感知的间隙填充自动生成与周围片段匹配的内容,可以在不离开时间线的情况下重新生成特定片段。

对于习惯使用 ComfyUI 的用户,LTX-2.3 提供了完整的自定义节点支持,包含文生视频、图生视频和多阶段生成的参考工作流。你可以通过 ComfyUI Manager 直接安装内置的 LTXVideo 节点,快速搭建自己的生成流程。

性能与可用性:为生产环境优化

LTX-2.3 提供了两个模型变体以适应不同的使用场景。ltx-2-3-fast 专注于快速迭代,适合需要大量尝试和调整的创意探索阶段;ltx-2-3-pro 则追求生产级质量,适合最终输出和交付。两个变体都支持 720p 和 1080p 分辨率,最长可生成 20 秒的视频片段,并且支持高达 4K 的输出。

模型的推理速度经过了大量优化。通过使用 xFormers 或 Flash Attention 3 等注意力优化技术,配合梯度估计方法,可以将推理步数从 40 步降低到 20-30 步,同时保持质量。对于不需要超高分辨率的场景,单阶段生成流程能够进一步提升速度。如果你有足够的显存,禁用自动内存清理可以让处理速度更快。

社区的反响证明了模型的实用性。自 1 月发布以来,LTX-2 系列已经被下载了近 500 万次。社区贡献了大量的优化和扩展,包括实现 2.3 倍推理加速的 EasyCache、针对各种硬件的量化版本,以及大量针对特定风格、运动和使用场景的 LoRA。这个活跃的生态系统让 LTX-2.3 不仅仅是一个模型,而是一个不断进化的创作平台。

实际应用:从创意到生产

LTX-2.3 的应用场景非常广泛。内容创作者可以用它快速生成短视频素材,大幅缩短从创意到成品的时间;教育工作者可以将抽象概念可视化,生成带有准确视觉演示的讲解视频;营销团队可以批量生成产品展示视频,在保持电影级质量的同时将制作效率提升 10 倍;独立开发者可以为游戏、应用或网站生成动态背景和过场动画。

AI视频创作工作流学术图

对于需要精确控制的专业场景,LTX-2.3 的图生视频和音频驱动能力提供了更多可能性。你可以先用其他工具生成或绘制关键帧,然后用 LTX-2.3 生成中间的运动;你可以先录制或合成音频,然后让视频完美匹配音频的节奏和情绪;你可以将现有视频的元素重新生成,实现外科手术般精确的编辑。

OpenCSG 与 LTX-2.3:开源生态的完美结合

作为全球领先的开源 AI 社区,OpenCSG 一直致力于降低 AI 技术的使用门槛,让更多创作者和开发者能够接触和使用最前沿的 AI 能力。LTX-2.3 这样的开源模型正是 OpenCSG 生态所倡导的——开放、可本地部署、社区驱动、可定制化。

在 OpenCSG 平台上,我们为 LTX-2.3 提供了完整的支持。你可以在我们的模型库中找到 LTX-2.3 及其各种变体,可以使用我们提供的部署工具快速在本地或云端搭建推理环境,可以在社区中找到大量的使用教程、工作流分享和 LoRA 资源。对于需要算力支持的用户,OpenCSG 也提供了灵活的算力资源对接方案,让你无需担心硬件限制就能体验这个强大的模型。

更重要的是,OpenCSG 社区汇聚了大量 AI 视频生成的爱好者和专业用户。在这里,你可以分享你的创作、交流技术细节、获得问题解答、发现新的应用场景。开源的力量不仅在于代码的开放,更在于知识的共享和社区的协作。LTX-2.3 在 OpenCSG 生态中不是一个孤立的工具,而是与其他开源模型、工具链、应用场景紧密结合的创作引擎。

未来展望:AI 视频生成的民主化

LTX-2.3 的发布标志着 AI 视频生成进入了一个新阶段。它证明了开源模型可以在质量上与闭源方案竞争,证明了本地运行的可行性,证明了社区驱动的创新潜力。当视频生成的能力不再被少数公司垄断,当每个创作者都能在自己的设备上运行生产级的 AI 模型,当定制化和微调变得触手可及,我们看到的是 AI 视频创作的真正民主化。

这不是终点,而是起点。随着社区的贡献、硬件的进步、算法的优化,LTX-2.3 及其后续版本将变得更快、更好、更易用。而 OpenCSG 将持续为这个生态提供支持,让每一个有创意的个体都能将想法转化为动态的、有声的、引人入胜的视频内容。

在 AI 重构内容创作的时代,工具不应该是壁垒,而应该是桥梁。LTX-2.3 和 OpenCSG,正在共同搭建这座桥梁。


社区地址

OpenCSG社区:https://opencsg.com/models/AIWizards/LTX-2.3

hf社区:https://huggingface.co/Lightricks/LTX-2.3

关于 OpenCSG

OpenCSG 是全球领先的开源大模型社区平台,致力于打造开放、协同、可持续生态,AgenticOps人工智能领域的一种AI原生方法论,由OpenCSG(开放传神)提出。AgenticOps是Agentic AI的最佳落地实践也是方法论。核心产品 CSGHub 提供模型、数据集、代码与 AI 应用的 一站式托管、协作与共享服务,具备业界领先的模型资产管理能力,支持多角色协同和高效复用。

Read more

Qwen3-TTS-VoiceDesign实战案例:为AR导览眼镜生成空间音频定位语音提示(3D Audio Ready)

Qwen3-TTS-VoiceDesign实战案例:为AR导览眼镜生成空间音频定位语音提示(3D Audio Ready) 1. 项目背景与需求 想象一下,你戴着一副AR导览眼镜在博物馆参观。当你走近一幅名画时,耳边传来清晰的解说声:"您现在观看的是《蒙娜丽莎》,创作于1503年..."。更神奇的是,这个声音仿佛就是从画作方向传来的,让你感觉解说员就站在画作旁边。 这就是空间音频定位技术的魅力。传统的语音导览往往是单声道播放,所有声音都从同一个方向传来,缺乏真实感和方位感。而基于Qwen3-TTS-VoiceDesign的空间音频技术,可以让语音提示具有明确的方向性,大幅提升AR体验的沉浸感。 技术需求分析: * 需要生成高质量、自然流畅的语音内容 * 语音需要具备方向感和空间定位能力 * 支持多语言,满足国际游客需求 * 能够根据场景快速调整语音风格和情感表达 2. Qwen3-TTS-VoiceDesign技术优势 Qwen3-TTS-12Hz-1.7B-VoiceDesign是一个端到端的语音合成模型,专门为声音设计场景优化。相比传统TTS系统,它在以下

30 步组装纸风车 + 0.02 秒接乒乓!这台机器人让 “类人操控” 不再是噱头

30 步组装纸风车 + 0.02 秒接乒乓!这台机器人让 “类人操控” 不再是噱头

拉斯维加斯 CES 展上,新加坡 Sharpa 公司的全尺寸人形机器人 North 凭两项 “神操作” 引爆全场:面对高速飞来的乒乓球,它的反应时间仅0.02 秒,是人类职业运动员最快反应(0.1 秒)的 5 倍;更让人惊叹的是,它能独立完成 30 余个步骤的纸风车组装,灵活切换抓取轻薄易皱的纸张、坚硬的木棍和直径不足 5 毫米的塑料图钉,全程零失误。 别小看这两个任务 —— 纸张受力阈值仅 0.01N,稍用力就会变形;塑料图钉体积微小,定位误差超过 0.1 毫米就会组装失败。即便是工业级机械臂,也常因 “力度控制失衡”“材质识别不准” 在此类任务中折戟。而 North 的核心竞争力,正是其搭载的SharpaWave 灵巧机械手,

YOLOv9农业应用案例:无人机遥感图像作物计数部署

YOLOv9农业应用案例:无人机遥感图像作物计数部署 在农田管理中,准确统计作物数量是评估种植密度、预测产量、指导灌溉和施肥的关键一步。传统人工计数耗时费力,而卫星影像分辨率有限,难以满足单株级识别需求。如今,搭载高清相机的消费级无人机配合先进目标检测模型,正成为农业数字化的新标配。YOLOv9作为2024年发布的最新一代YOLO架构,在小目标检测、低对比度场景和复杂背景干扰下展现出显著优势——它不依赖额外模块就能稳定检出密集排列的玉米苗、水稻秧或果树幼株。本文不讲论文推导,也不堆砌参数指标,而是带你用一个开箱即用的官方镜像,把YOLOv9真正跑在真实的农田遥感图上,完成从数据准备到结果可视化的完整作物计数流程。 1. 为什么选YOLOv9做农业计数 1.1 农业图像的三大难点,YOLOv9怎么破 农田航拍图不是普通照片:植株颜色与土壤接近、幼苗尺寸小(常小于32×32像素)、排列密集且存在遮挡。过去很多模型在这类图像上漏检率高、定位不准。YOLOv9针对这些问题做了本质优化: * 可编程梯度信息(PGI)机制:让网络在训练中自动聚焦于对检测真正重要的特征区域,而不是被背

项目介绍 MATLAB实现基于天牛须搜索算法(BAS)进行无人机三维路径规划的详细项目实例(含模型描述及部分示例代码) 还请多多点一下关注 加油 谢谢 你的鼓励是我前行的动力 谢谢支持 加油 谢谢

项目介绍 MATLAB实现基于天牛须搜索算法(BAS)进行无人机三维路径规划的详细项目实例(含模型描述及部分示例代码) 还请多多点一下关注 加油 谢谢 你的鼓励是我前行的动力 谢谢支持 加油 谢谢

MATLAB实现基于天牛须搜索算法(BAS)进行无人机三维路径规划的详细项目实例 更多详细内容可直接联系博主本人    或者访问对应标题的完整博客或者文档下载页面(含完整的程序,GUI设计和代码详解) 无人机(UAV, Unmanned Aerial Vehicle)技术在近年来迅猛发展,广泛应用于军事侦察、环境监测、物流配送、农业喷洒、灾害救援等多个领域。随着应用场景的复杂化和任务需求的多样化,无人机在三维空间中的路径规划变得尤为关键。路径规划不仅关系到任务的效率,更直接影响无人机的安全性和资源利用效率。传统路径规划算法如A*、Dijkstra算法,在二维平面内表现良好,但面对三维空间的复杂环境和多约束条件,计算复杂度剧增,且难以适应动态变化的环境。为此,智能优化算法被引入无人机路径规划领域,以提升规划的效率和鲁棒性。 天牛须搜索算法(Beetle Antennae Search, BAS)是一种新兴的群智能优化算法,受到天牛利用其触角探测环境的启发。BAS算法结构简单,计算开销低,且在全局搜索和局部搜索间取得良好平衡,适合处理高维复杂优化问题。将BAS算法应用于无人机三