LLaMA 大模型开源论文阅读笔记

• Rotary Embeddings [GPTNeo]。即 RoPE 相对位置编码。位置编码一般有绝对位置编码，即可学习的位置编码或标准的 transformer 中使用的 Sinusoidal 位置编码。可学习的位置编码缺点是模型不具有长度外推性，因为位置编码矩阵的大小是预设的，若对其进行扩展，将会破坏模型在预训练阶段学习到的位置信息。Sinusoidal 位置编码还具有远程衰减的性质，具体表现为对于两个相同的词向量，如果它们之间的距离越近，则他们的内积分数越高，反之则越低。Sinusoidal 位置编码中的正弦余弦函数具备周期性，并且具备远程衰减的特性，所以理论上也具备一定长度外推的能力。而 RoPE 作者的出发点为：通过绝对位置编码的方式实现相对位置编码。Sinusoidal 位置编码通过加法把相对位置信息融入到内容信息中，但需要模型隐式学习这种相对位置信息，而 RoPE 通过旋转（乘法）把相对位置信息融入到内容信息中，是一种显式的注入，不需要隐式学习，在长度外推性方面，RoPE 比 Sinusoidal 更好。

2.3 优化器

AdamW 优化器，cosine learning rate schedule 等

2.4 高效实现

做了一些优化提升训练速度。首先是采用高效因果多头注意力（from xformers）减少内存占用和运行时间，即下三角矩阵只计算需要的部分，不用的部分不存不算，从而减少显存占用。其次，保存线性层的激活值，避免反向传播时还要重新计算。 最终训练 65B 的模型，1.4 万亿的 tokens 数据，需要 80G A100 训练 21 天。

3 主要结果

在 20 个 benchmarks 做了实验。

1. Zero-shot: 提供任务描述和一道测试题输入到模型中，让模型生成问题解答或选择正确答案。
2. Few-shot: 提供一些任务解答案例和一道测试题，让模型生成问题解答或选择正确答案。 对比的模型：

• 闭源：GPT-3 2020, Gopher 2021, Chinchilla 2022, PaLM 2022
• 开源：OPT 2022, GPT-J 2021, GPT-Neo 2022, 以及指令微调的模型 OPT-IML, Flan-PaLM.

3.1 常识推理

8 个 benchmark：BoolQ，PIQA，SIQA，HellaSwag，WinoGrande，ARC easy/challenge, OpenBookQA.

3.2 书本知识问答

两个 benchmark: Natural Questions 和 TriviaQA

3.3 阅读理解

RACE benchmark，来源于中国初高中英语测试的阅读理解题。

3.4 数学推理

2 benchmark: MATH, GSM8k，初高中数学题。 Minerva 是 PaLM 在 arxiv 以及数学网站数据微调出来的模型，故效果很好。

3.5 代码生成

2 个 benchmark: HumanEval，MBPP

3.6 大规模多任务语言理解

MMLU benchmark

3.7 训练时的性能进化

训练时评估模型性能，一般情况下，训的 tokens 越多，性能越好。

4 指令微调

加点指令微调后，模型效果大幅提升。

5 偏见、戾气以及错误

6 碳排放

7 相关研究

8 结论

开源了不同大小的 LLaMA 模型，通过相对较小模型 + 大量数据实现不错的效果，且所有数据都是开源的。