qwen论文阅读笔记

2.3 架构

基于LLaMA的模型架构。
改进点：
Embedding和输出映射：采用 untied embedding（输入嵌入与输出投影不共享权重）
位置编码：RoPE，但是逆频矩阵采用FP32精度（不确定LLaMA是不是FP32的精度），提高数值精度和长上下文稳定性。
Pre-Norm&RMSNorm: 跟LLaMA保持一样。
激活函数：跟LLaMA一样，把FFN中的激活函数采用SwiGLU。

2.4 训练

限制模型输入最大长度为2048，采用Flash Attention减少显存占用。BF16回合精度训练。

2.5 上下文长度拓展

上下文长度即计算自注意力时的k的数目，每次输出下一个token时都需要和历史所有n个token的kv cache交互，计算复杂度是O(nd)，其中d特征维度，如果没有kv cache的话，就需要重新计算所有历史 token 的 Key 和 Value， 这个计算复杂度就变成了O(nn*d)。所以上下文长度增加时，计算复杂度会二次方增加（不考虑）。本文参考YaRN论文采用NTK-aware缩放RoPE的底数。NTK-aware是一种基于NTK（Neural Tangent Kernel）理论来在推理时根据上下文长度动态调整RoPE 的底数，目标是在遇到长文本时尽量让模型在新区间里看到的频率模式类似于原来训练时在 [0,L]区间学到的模式，从而增大模型上下文外推性，又不损害模型性能。
此外，还会根据推理时上下文长度/训练时的上下文长度缩放query和value的乘积（LogN-Scaling），以及通过window attention限制attention计算在一个有限长度的窗口，避免关注距离太远的token，一般情况下比较浅的层用较小的窗口长度，比较高的层用更大的窗口长度。

2.6 实验结果

和其他模型对比结果：

长上下文推理消融实验结果：

3 对齐

对齐的目的主要是为了让模型更好的跟人沟通，因为预训练的模型相等于一个只会续写的模型，听不懂人的问题，跟个傻逼一样，对齐之后就可以跟人对话回答问题，更好的为人所用。对齐有两种方式，一个监督微调(SFT)，一个就是基于人类反馈的强化学习微调(RLHF)。

3.1 SFT(supervised fineturning)

在对话风格的数据上微调已经预训练好的模型。

3.1.1 数据

自己标了一大批风格多样的对话数据。为了避免损害模型的泛化能力，特别剔除了那些以提示模板形式存在的数据。而且，对于涉及暴力、边间和色情内容的东西也进行了特别标注。
此外，使用open-AI提出的ChatML-style风格的会话进行微调也很重要，让模型知道每段话是谁说的，避免全都糊成一坨纯文本输给模型。虽然存储和标注一般是使用json风格的数据，但是真正喂给模型时，都会转成chatML风格的数据。

3.1.2 训练

SFT时的策略和预训练的方式一致，但是不会计算system和user信息的损失。

3.2 基于人类反馈的强化学习微调（RLHF）

虽然SFT效果不错，但是可能会限制模型的生成能力或者创造性。故还需要RLHF，首先就是就是要训练一个奖励模型，并基于PPO（Proximal Policy Optimization, 近邻策略优化）优化方法进行微调。

3.2.1 奖励模型

训练一个用于RLHF的奖励模型跟训练一个大语言模型过程差不多，也是先预训练然后微调，只不过训练数据是那种一个问题包含两种不同风格回答的数据。预训练一般被称为PMP(preference model pretraining)，微调时也是这种数据，但数据质量更高。
在微调阶段，喂给模型各种各样的prompt, 然后基于人工给模型的回复打分的结果微调模型。为了确保prompt的多样性，还设计了一个包含6600中tag的分类系统，并且基于平衡采样算法筛选prompt, 然后把晒出来的prompt输入给不同大小的qwen模型获取回复，最后人工会给这些回复按照统一的标准打分制作成比较对。
奖励模型最后输出的打分是通过把一个pooling层加到原本的qwen模型的输出结束token时的输出上实现的。
实验结果显示：预训练过的奖励模型泛化性其公开数据上效果好，但是在制作的私有训练奖励模型的数据上效果差一些，不如微调后的数据。

3.2.2 强化学习

PPO（近邻策略优化）过程涉及四个模型：

1. 策略模型：即要微调的qwen模型
2. 价值模型：基于sft后qwen的模型改造的，输入还是对话内容，加了一个MLP层输出价值评分，PPO迭代过程中也会进行参数更新。
3. 参考模型：PPO上一轮迭代更新后的qwen模型，用来计算KL约束，避免一步更新的太大。
4. 奖励模型：前面单独训练简历模型，用来给策略模型的输出打分。
   PPO的作用大概就是，用奖励模型的打分作为人类偏好的近似，在通过裁剪+KL约束的小步更新，实现qwen-chat倾向于回复人类偏好的回答，但又不损失原本在通用任务上的能力。

3.3 自动和人工评估对齐后的模型

Zero-shot和few-shot评估

• Zero-shot 评估：只给指令，不给例题，看模型'裸奔能力'；

Few-shot 评估：在同一个 prompt 里给几道例题，再出新题，看模型'看几例就会做'的能力。

人工评估对比对齐后的qwen的胜率结果，表明RLHF效果显著。

3.4 工具使用，代码翻译以及智能体

工具使用：

生成的python代码可成功执行的比例：

作为智能体的表现，用huggingface提供的工具评估：

4 CODE-QWEN：专注于编程的模型

在代码数据上继续预训练和微调得到的模型Code-qwen和code-qwen-chat。

4.1 代码预训练

是基于在各类数据上预训练得到的基础qwen继续在代码数据上预训练，而不是直接从头开始在代码数据上预训练。代码数据大概用了900亿tokens。

4.2 代码数据监督微调

多阶段SFT可以达到更好的效果。

4.3 评估

在Humaneval、MBPP和HUMANEVALPACK上对比了多种开源和闭源的算法，已经超越了大部分开源算法，但是和chatgpt4仍有较大差距。

5 Math-qwen: 专攻数学领域的模型

5.1 训练

用预训练模型在数学测试题上微调

5.2 评估

GSM8K, MATH， Math401, Math23K等benchmark
[图片]

6 相关研究

6.1 大语言模型

基于transformer发展起来了大量开源和闭源的大语言模型。

6.2 对齐

数据、SFT、RLHF等。

6.3 工具使用和Agent

6.4 编程LLM

6.5 数学LLM

需要链式思考范例，提升数学推理能力。

7 结论

研发并开源了一系列qwen模型，设计模型参数18亿、70亿到140亿参数量。