本文探讨了大模型 LLM 训练中合成训练样本的数据分布问题。通过统计字符串字母个数的实验案例，发现初始均匀随机采样生成的训练数据与实际测试分布存在偏差，导致模型在处理短单词和重复序列时准确率大幅下降。文章分析了分布偏移的原因，提出了通过加权短单词频率和增加重复序列概率的改进方案。实验结果表明，调整后的数据分布使模型成功解决了边缘案例的预测错误。最后总结了合成数据构建的最佳实践，强调训练数据分布应与实际应用场景保持一致，并需主动覆盖边缘情况以提升模型鲁棒性。
在研究大语言模型（LLM）的训练过程中，数据质量与分布对模型性能有着决定性影响。近期在进行一项关于 LLM'统计字符串中字母个数'能力的实验时，发现合成数据集的生成策略直接影响了模型的泛化能力。本文通过具体案例，分析合成训练样本中的数据分布偏差问题及其解决方案。
为了测试模型对简单计数任务的理解能力，我们构建了基于英文单词的合成数据集。任务要求模型根据给定的字符串，统计其中包含的字母总数（不含空格）。分词逻辑基于预定义的常见英文单词表。
初始阶段，合成随机字符串的代码逻辑如下：
# self.words 为常见英文单词数组，长度为 3432
if random.random() < 0.1:
ss = random.choices(self.words, k=random.randint(1, 9))
else:
ss = random.choices(self.words, k=random.randint(1, 99))
该逻辑采用均匀随机采样（Uniform Random Sampling），从词汇表中选取 1 到 99 个单词组成句子。生成的样本示例如下：
how many letters are there in the following string: "spread high"? 10
how many letters are there in the following string: "european contradictory"? 21
how many letters are there in the following string: "lock over constitution smart boil superior patient teenager graduation drop speaker pronounce contribution boring step carpet realize format surprise disappoint promote track thick rank affect nurse preparation armchair data warn pint construction tale organization tank wear understand vast tremble"? 261
使用单卡 GPU 训练约 12 小时后，模型在测试集上的准确率达到了 99.937%。这一结果看似非常理想，但在人工进行边缘情况（Edge Case）测试时，发现了明显的缺陷。
尽管整体准确率高，但模型在处理某些特定模式的输入时表现极差。这些模式在实际场景中其实更为常见或简单，例如短单词重复、高频小词等。
错误预测案例：
Input: how many letters are there in the following string: "a a"?
Output: 4 (Expected: 2)
Input: how many letters are there in the following string: "be be be be"?
Output: 0 (Expected: 8)
Input: how many letters are there in the following string: "dog dog a"?
Output: 8 (Expected: 7)
Input: how many letters are there in the following string: "mark mark mark ..." (50 times)?
Output: 21292220 (Expected: 396)
Input: how many letters are there in the following string: "i am fine"?
Output: 9 (Expected: 7)
上述案例显示，模型在面对短单词（如 "a", "I"）和单词重复序列时，出现了严重的幻觉或计算错误。这与直觉相悖，通常简单的样本更容易被模型掌握。
通过深入分析，推测问题的根源在于测试样本的数据分布与训练样本的数据分布存在显著差异。具体表现在以下两个方面：
在原始的 3432 个单词的词汇表中，长度为 1 的单词仅有 2 个（"a", "I"）。其占比仅为 2/3432。然而，在自然语言的实际使用中，"a" 和 "I" 是极高频率的单词。由于训练数据中几乎未出现这两个词的独立或组合形式，模型未能学习到它们对应的字符计数特征。
原始代码通过有放回地从词汇表中随机选取单词。这种机制下，连续出现相同单词（如 "mark mark mark"）的概率随着长度增加呈指数级下降。因此，训练集中几乎不存在长串的重复单词序列。当测试集引入此类模式时，模型缺乏相应的上下文经验，导致计数完全失控。
基于上述假设，我们修改了合成样本的生成逻辑，旨在让训练数据的分布更贴近实际应用场景。
通过增加短单词在候选池中的出现次数，提高其在采样中被选中的概率。
# 提升短单词在单词表中的比例
self.short_words = []
for w in self.words:
if len(w) == 1:
self.short_words += [w] * 50
elif len(w) == 2:
self.short_words += [w] * 10
elif len(w) == 3:
self.short_words += [w] * 3
self.words_new = self.words + self.short_words
增加生成重复单词序列的概率，确保模型能够学习到重复模式下的计数逻辑。
# 提升同一个单词在字符串中多次出现的概率
if random.random() < 0.05:
words = random.choices(self.words_new, k=random.randint(1, 5))
else:
words = self.words_new
if random.random() < 0.1:
ss = random.choices(words, k=random.randint(1, 9))
else:
ss = random.choices(words, k=random.randint(1, 99))
注：此处逻辑调整为先生成基础词组，再根据概率决定是否扩展，同时增加了重复采样的机会。
重新训练模型后，再次对上述失败案例进行测试。结果显示，所有之前预测错误的 Case 均得到了正确解答。这表明通过调整合成数据的分布，可以有效解决模型在特定场景下的泛化失效问题。
本案例揭示了大模型训练中一个普遍存在的问题：合成数据（Synthetic Data）并非简单的随机生成即可，必须考虑目标域的数据分布。
在进行合成数据构建时，建议遵循以下原则：
在大模型训练过程中，合成训练样本的质量直接决定了模型的上限。如果测试样本的数据分布跟训练样本的数据分布差异较大，就会导致测试准确率降低，甚至出现看似荒谬的错误。因此，在合成训练样本时，应充分考虑实际使用场景的数据分布，通过加权采样、边缘注入等手段优化数据生成策略，从而提升模型的泛化能力和鲁棒性。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online