探讨了大型语言模型（LLM）的高质量数据选择与微调方法。首先介绍了基于信息压缩比的熵定律及 ZIP 数据筛选算法，强调通过压缩比和训练损失优化数据子集。其次分析了高质量微调数据集的构建，包括复杂约束数据、基于判别式的数据生成及 RLFT 微调策略。接着讨论了数据筛选的计算缩放定律及 LLM 在预训练中获取事实知识的机制。此外，还涵盖了 DeepSeek-Prover 的数学推理优化、PiSSA 微调技术、以及针对超长上下文的 Double Dipper、Found in the Middle 和 T-FREE 等增强方法，旨在提升模型在长文本理解、推理能力及参数效率方面的表现。
数据是大型语言模型 (LLM) 的基石。大多数方法侧重于评价单个样本的质量，而忽略了样本间的组合效应。
受 LLMs 信息压缩特性的启发，我们发现了一个将 LLM 性能与数据压缩比和第一个 epoch 训练损失联系起来的'熵定律'，它们分别反映了数据集的信息冗余度和对该数据集中编码的固有知识的掌握。
基于熵定律的结果，我们提出了一种非常有效和通用的数据选择方法 ZIP 来训练 LLMs，该方法旨在对压缩比较低的数据子集进行优先排序。基于贪婪地选择不同数据的多阶段算法，我们可以得到一个具有满意多样性的良好数据子集。
虽然有多个好的样本数据，但它们编码的知识可能是冗余的和相互冲突的。而由几个相对较低质量但不同的样本组成的另一个数据子集可能比上述子集传递更多的信息。（这说明多数据组合时要去重）
在论文《Compression Represents Intelligence Linearly》中提到：LLMs 中自回归语言建模的基本机制是信息压缩。（就是训练总数据集的 token 数/总数据集的 char 个数，其实并不能完全代表模型的能力，只能说表示了 tokenizer 的能力）
使用每条消息的平均编码长度（即比特每字符，BPC）来评估模型的压缩效率。
将 LLM 的性能表示为 Z，它预计会受到以下因素的影响：
那么有公式关联：
其中数据一致性 C 通常和 L 相关，因此选一个就行。数据质量不会随选择而变化，视为常数，则有简化公式：
模型的性能与数据压缩比和训练损失有关。将这种关系称为'熵定律'。
该方法的目标是在有限的训练数据预算下最大化有效信息量。
ZIP 方法本质上就是通过信息压缩率衡量数据集的信息冗余程度，从而选出差异性最大的数据集（去重）进行训练。ZIP 数据筛选方法比随机选择和其他筛选方法取得了更好的效果。
总结：其实就是去掉重复度高的数据集。但是实际场景中，即使是重复度高的数据集中也会包含大量不重复的内容，这部分内容对拓展模型知识范围有用，因此不如直接对数据去重好用。
类似的还有《Data curation via joint example selection further accelerates multimodal learning》，通过模型 loss 筛选出最有价值的数据集单独进行训练，减少了训练数据、降低了迭代次数，提高了效率。
参考论文：From Complex to Simple: Enhancing Multi-Constraint Complex Instruction Following Ability of Large Language Models GitHub: https://github.com/meowpass/FollowComplexInstruction
本文提出了三个问题：1：什么样的数据能增强 SFT 的效果？2、如何得到这类数据？3、如何利用上述数据进行有效微调？
1. 什么样的数据能增强 SFT 的效果？ 复杂约束的数据具有更好的微调结果。也就是数据的描述越详细、准确，微调效果越好。
其中 Backbone 是指原始预训练模型，Atom 指使用单约束数据微调的模型，Comp 是指使用多条合成约束微调的模型。可以看出多约束数据模型结果更好。
2. 如何得到这类数据？ 高级 LLM（Generation）的输出质量高于较弱 LLM（Vanilla）的输出质量。然而，来自较弱 LLM 的输出然后由高级 LLM 细化（辨别）显著优于由高级 LLM 直接生成的输出（生成）。我们认为这是因为指令（即约束）的微小变化会导致实质性的输出差异，基于区分的方法比基于生成的方法更好地捕捉到这一点。
大模型做判别的效果比生成效果更好！！！
3. 如何利用上述数据进行有效微调？ 引入了一种基于强化学习微调（RLFT）的方法，该方法利用正样本和负样本来改善复杂的指令跟踪。
然而，负样本未能满足某些限制，也提供了有价值的监督信息。因此通过强化学习微调来利用正样本和负样本。具体地，给定输出集合 O，对于每个复杂指令 Ic，可以形成包括 f 个对比三元组的训练数据集。在每个训练三元组中，（正样本）的最终校正输出优于 Oi（负样本），如以下在复杂指令 Ic 中指定的更多约束。在此之后，直接偏好优化（DPO）可以应用于对偏好信息进行建模。损失函数是语言模型参数πθ的最大似然目标。
仅依赖于 LDPO 可能导致选择和拒绝输出的概率较低，但它们之间存在显著差异。因此，我们另外整合 SFT 损失 LSFT 以约束πθ偏离优选的数据分布。
其中 Ours-13B-Generation 直接使用 GPT-3.5-turbo 生成输出，并通过监督微调 (SFT) 训练骨干模型。Ours-13B-Discrimination 通过主干模型生成输出，然后使用 GPT-3.5-turbo 进行细化，并通过 SFT 训练主干模型。Ours-13B-Contrastive 利用 DPO 进行训练，对正样本和负样本进行建模。三种方法的骨干模型均为 LLaMA2-13B-Chat，训练数据的说明相同；只有训练数据和训练范式的输出不同。
得分基本上都高于其他方法和原始模型。
参考论文：Scaling Laws for Data Filtering – Data Curation cannot be Compute Agnostic GitHub: https://github.com/locuslab/scaling_laws_data_filtering
虽然数据是海量的，但是高质量数据是有限的。
测试表明，在低计算量的情况下（Epoch 数目少），好的数据更好：在低训练计算量的情况下，利用高质量的数据是有益的。但随着 Epoch 数目的增加，低质量数目集效果更好（可能是见识到的内容更多）。
参考论文：How Do Large Language Models Acquire Factual Knowledge During Pretraining?
通常认为，LLM 在预训练中学习知识。但是 LLM 对长尾知识的习得很差。有观点认为，Attention 的 qkv 结构是对知识进行抽取（q*k 计算 attn_score 对 v 加权平均），MLP 结构是知识记忆。
下面通过实验进行深入分析。
为了便于测试，创建了虚拟知识数据集，包含对虚构而又真实的实体的描述的段落，使得预训练的 LLM 中没有相关知识。Injected knowledge：将每一段注入到预训练批中的一个序列中，并在遇到知识时考察 LLM 的记忆和概括的动力学。我们称这些通道为注入的知识。为了考察 LLMs 在不同深度对已获得的事实知识进行概括的能力，将习得的概念分为三个深度：
根据这一直觉，我们仔细地为每个注入的知识的三个不同获取深度的每一个设计了五个探针，总共产生了 1800 个探针。每个探测都被构建为完形填空任务，由输入和目标跨度组成，其中目标跨度是一个简短的短语，旨在测试我们评估的事实知识的获得情况。注入的知识和对应的探测的例子如表 1 所示。
为了详细分析 LLMs 在预培训期间对事实知识的获取，我们通过检查日志概率来评估模型的状态，以获得细粒度信息。
参考论文：DeepSeek-Prover: Advancing Theorem Proving in LLMs through Large-Scale Synthetic Data
通过生成的定理数据提高 LLM 的数学推理能力。
精度有明显提升。
参考论文：PiSSA: Principal Singular Values and Singular Vectors Adaptation of Large Language Models GitHub: https://github.com/GraphPKU/PiSSA
PiSSA 是一种类似 LoRA 的微调方式。
首先将权重矩阵进行 SVD 分解，得到 W = USV^T，其中设置低秩参数 r，根据分解矩阵的性质将 W 拆为两部分。
是前 r 个主奇异值表示的矩阵
是其余奇异值组成的矩阵
那么再将...再拆分成两部分，得...
那么原始的矩阵 W 最终被拆分成...
这和 LoRA 的方法一摸一样。只不过 LoRA 是假设权重更新矩阵为低秩，用 A 和 B 相乘拟合（实际上秩可能没这么小，因此拟合的精度会下降）。而 PiSSA 是将矩阵奇异值分解后得到的低秩矩阵 A 和 B。没有前提条件，相对而言效果更好。
且此时的分布更加集中，离群值更少，量化损失也更低。
从评测结果可以看出，PiSSA 的效果全部好于 LoRA，很多场景下甚至优于全量微调。
微调的 Loss 也很低，甚至低于 Full FT。
参考论文：Can Few-shot Work in Long-Context? Recycling the Context to Generate Demonstrations
实际场景中的 prompt 可能会特别长，包含了很多信息，会在一定程度上分散模型的注意力，影响模型生成结果的质量。
据分析，模型对起始位置和结束位置的 prompt 响应效果较好，对中间部分 prompt 的响应极差。
DOUBLEDIPPER 原理如下
随机选择某些段落，输入 prompt 让模型根据内容自动生成相关问题，再根据问题生成答案。这样就有多个问题 + 段落 + 答案的 pair 数据。将相关数据作为 Few shot 数据添加进去，显示引导模型进行数据定位，从而生成更加刚高质量的回答。
相比长段落的输入 prompt 来说，生成的问题、答案以及段落 ID 的总长度很短，因此不会明显增加模型的负担。
从图中可看出，模型的性能大部分场景下都有一定程度的提高。
Ps：开局一张图，LLM 在中间位置的表现极差，所以要提升。结果最后评测的 LLM，没几个模型在中间位置差那么离谱的。早放这些图，这篇论文就没多少研究的价值了。。。结论就是：费半天劲，有那么一点效果。
参考论文：Found in the Middle: Calibrating Positional Attention Bias Improves Long Context Utilization
测试也好测，三大段落文章调换顺序，查看不同顺序下模型的生成结果差异，应该就可以对比出来。
论文中认为是注意力偏差导致的，需要对注意力进行矫正。允许模型根据其相关性忠实地关注上下文。
校正后的注意力机制效果更好
参考论文：T-FREE: Tokenizer-Free Generative LLMs via Sparse Representations for Memory-Efficient Embeddings
分词器在 LLMs 中用于将文本分割成子词并转换成整型表示，但它存在计算开销大、词汇表使用效率低、嵌入层和头层过大等问题，并且对于代表性不足的语言性能下降。
提出了 T-FREE，一种无需分词器的新型 LLMs 嵌入方法，通过稀疏表示实现内存效率。
总结就是 on-hot 编码有大量的信息冗余。T-FREE 的一个关键动机是直觉上，拼写上的微小差异（例如前导空格或大写）没有足够的熵来证明完全独立的标记是合理的，因此通过 multi-hot 编码，既能更好的表示不同 token 之间的关联性，又可以大大降低 embedding 的大小，降低编码长度。
最终在不降低性能的情况下，减少了 85% 的词汇表。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
