大模型微调技术概述
大模型微调是机器学习中的一项重要技术，旨在帮助降低部署成本，同时进一步提高模型在特定领域的性能。具体来说，大模型微调指的是在现有预训练模型的基础上，根据特定任务数据进行微调，以适应任务的特定需求，以便更好地解决各种实际问题。
目前较为流行的大模型微调技术是 PEFT(Parameter-Efficient Fine Tuning)，即参数高效微调。它只对部分参数进行训练，主要有 Prompt Tuning、Prefix Tuning、LoRA、QLoRA 等方法。相比全量微调，PEFT 大幅减少了显存占用和计算资源消耗，使得在消费级显卡上运行大模型成为可能。
技术进展
1. Parameter-efficient fine-tuning of large-scale pre-trained language models
核心观点： 随着预训练语言模型规模的增长，逐渐出现了只优化和改变模型的小部分参数的 delta 调整方法。这种参数高效的调整方式可以有效地刺激大规模模型，并极大降低计算和存储成本。
2. The Power of Scale for Parameter-Efficient Prompt Tuning
核心观点： 本文通过学习软提示来调节冻结的语言模型。这种提示调优方法随着模型规模的增长而变得更有竞争力，在大模型上几乎匹配全模型调优的性能，还具有鲁棒性和效率优势。
3. Scaling Instruction-Finetuned Language Models
核心观点： 在大规模指令任务上微调语言模型可以极大提升模型在各类设置下的性能和泛化能力，是增强预训练语言模型效果和可用性的通用有效方法。
4. Towards Better Instruction Following Language Models for Chinese
核心观点： 本文通过在多种公开中文指令数据集上全面评估开源对话模型，发现训练数据的量、质和语言分布等因素对模型性能有重要影响，并通过扩充词表和二次预训练提升了中文领域模型的效果。
5. Exploring the Impact of Instruction Data Scaling on Large Language Models
核心观点： 本文通过构建真实场景的评估集，发现指令调优后模型性能随训练数据量的提升而持续改进，但在某些任务上提升乏力，需要考虑数据质量选择、模型和方法的扩展。
