路由之心

Llama-AVSR 论文精读：基于 LLM 的视听语音识别新框架

Llama-AVSR 提出利用预训练大语言模型进行视听语音识别的新框架。通过冻结音频视频编码器与 LLM，仅训练投影层与 LoRA 模块，实现参数高效微调。在 LRS3 数据集上，ASR 与 AVSR 任务均刷新 SOTA 记录，WER 分别达 0.79% 与 0.77%。研究证实模态感知压缩率与编码器选择对性能效率权衡至关重要，为低资源场景下的多模态理解提…