基于行业交流探讨了从零训练大模型的关键要素。内容涵盖样本构成与质量清洗策略，包括中英混合比例、逻辑推理数据及合成数据生成。分析了预训练不同阶段（快速收敛、稳定、退火）的样本配比方案，以及小模型训练的极限评估方法。在训练参数方面，讨论了分词器选择、Batch Size 权衡、学习率调度器与优化器的协同机制，特别是 W-S-D 调度策略。此外，还涉及了 Scaling Law 的指导意义变化及“和面”技巧在提升特定领域效果中的应用。核心结论强调数据质量对模型性能的影响往往超过单纯增加参数量，且高质量数据的引入时机对泛化能力至关重要。
根据 Scaling Law，模型越大、高质量数据越多，效果通常越好。但实际观察发现，随着预训练样本质量的提升和训练手段的优化，新模型往往能轻松反超参数量两倍于它的旧模型。
例如 MiniCPM 在内部评测中表现优异，相比规模接近的 2B、7B 模型，得分高于 Qwen-2B，部分指标甚至超越 Qwen-7B。这说明在现有参数量下，即使是 2B 尺度，也并未得到充分训练。基于近期行业内的技术分享与公开信息，本文总结了从零训练大模型的关键经验。
业界已达成基础共识：
导致 Perplexity (PPL) 崩坏的样本必须清洗。流程包括政治敏感数据过滤、去重等，这是一个长 Pipeline。天工开源的预训练数据被视为满足基础清洗要求的较好参考。
通过产出各种 Label 来刻画数据质量。随着优化深入，Label 的投入产出比评估难度增加，需平衡成本与收益。
对于开源团队或小公司，搭建清洗 Pipeline 成本较高。建议基于开源数据聚类 Topic，利用更大模型生成高质量数据，这是一种低成本方案。
除特定案例外，专业数据公司在本次大模型浪潮中获益显著。
经过讨论，主要存在三种方案：
讨论焦点：
到底喂多少 Tokens 才算充分训练？YI-9B 曾尝试通过计算每层输入输出的 Cosine 相似度来评估，但该方法存在遗漏点。若模型深度足够，部分层区分度降低；若小模型每层 Cosine 都小，可能意味着各层在做不同事或关注新信息。目前仍需更完善的评估方式。
小模型使用过大的 Tokenizer 是浪费。常见情况是作者人力不足直接复用大模型的 Tokenizer，建议根据小模型语料重新训练或精简。
预训练通常分为三个阶段：快速收敛阶段、稳定阶段、退火阶段（MiniCPM 显式提出）。
基于 Loss 曲线观察，不同阶段针对性调整样本和参数能带来更好效果。
Batch Size 存在 Trade-off：
目标是收敛 Loss，使预测 Target 与真实 Target 差距最小。
类比下山，Learning Rate 决定步幅。过快会震荡，过慢则效率低。主流采用 Cosine 调度，初期 Warmup 线性增长，随后余弦周期变换。
解决初期学习、加速区域及跳出局部最优的问题。主流基于历史反馈，如 Momentum、Adagrad、Adam 系列。
LR Scheduler 决定全局步幅，优化器处理局部自适应。两者互补：优化器像老司机油门，LR Schedule 像全局油门辅助跳出局部最优。针对 W-S-D 调度，可改进为 Warm-Cosine-Stable-Decay，增加余弦波段以更好跳出局部最优，并在结束前升速走 Stable+Decay。
业界流行在预训练最后阶段补充特定数据以提升效果，称为'和面'。MiniCPM 直接将 SFT 数据混入预训练，更为激进。
合理性分析：
随着常识建立，Scaling Law 指导意义有所下降。实际决策常转为反推：已知算力与时间，推算能训练多大模型及多少 Tokens。2020 年 OpenAI 发现数据、训练、参数增长导致 Loss 持续下降，最终催生了 ChatGPT。
从零训练大模型是一个系统工程，核心在于数据质量与训练策略的匹配。
未来，随着评估方法的完善和训练技巧的迭代，小模型在特定领域的潜力仍值得深入挖掘。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
