随着人工智能技术的快速发展，大型预训练模型（Large Language Models, LLM）在图像识别、自然语言处理等多个领域展现出卓越性能。然而，通用模型往往难以直接满足特定垂直场景的需求，因此针对特定任务和数据集进行微调（Fine-tuning）成为关键步骤。
本文整理了 12 篇关于大模型 LLM 微调技术方法的核心论文，涵盖了高效微调、指令调优、多模态理解及软件工程应用等方向。这些资料提供了深入的分析、实践经验和技术突破，适合希望系统掌握 LLM 微调技术的开发者与研究人员参考。
1. Efficient Large Language Models: A Survey
高效的大型语言模型：综述
本文对高效 LLMs 研究的发展进行了系统而全面的回顾。文章将文献整理成由三个主要类别组成的分类法：从模型中心、数据中心和框架中心的角度，涵盖了不同但相互关联的高效 LLMs 主题。同时，从以模型为中心和以数据为中心的双重视角，回顾了 LLMs 在算法层面和系统层面的高效技术，为后续研究提供了清晰的路线图。
2. Parameter-efficient fine-tuning of large-scale pre-trained language models
大型预训练语言模型的参数高效微调
本文探索了增量式微调方法在预训练模型中的应用。作者首先提出了两个框架，分别从优化和最佳控制角度分析增量式微调。实验部分在 100 多个 NLP 任务上进行了广泛测试，评估了任务级可迁移性、Delta-tuning 方法的组合及规模，为该方法的设计提供了坚实的理论依据。
3. Vision-Language Instruction Tuning: A Review and Analysis
视觉 - 语言指令调优：综述与分析
本文系统性地回顾了多模态 LLMs 中最新的 VLIT（Vision-Language Instruction Tuning）设置及相应数据集，并深入分析了其设计背后的内在动机。文中首次提供了对现有 VLIT 数据集的详细多角度分类，识别了高质量 VLIT 数据应具备的特征，并将这些特征作为指导原则纳入现有的数据构建过程。
4. Scaling Instruction-Finetuned Language Models
缩放指令 - 微调语言模型
本文专注于扩大任务数量、模型规模和思维链数据上的微调。研究发现，这些微调显著提升了不同模型（如 PaLM、T5、U-PaLM）在各种评估基准上的性能。例如，指令微调后的 Flan-PaLM 540B 大幅超越了原始 PaLM 540B。此外，文中还公开了 Flan-T5 的检查点，其在少样本测试中即便与大模型相比也具有强劲表现。
