2024 年大模型发展迅速，开源社区进步显著，Qwen 等国产模型表现优异。数据质量成为核心竞争力，合成数据在训练占比提升。Continue-Pretrain 因成本和通用性影响减少，Post-training 更受重视。RAG 落地面临文档解析、向量召回及多模态处理挑战，GraphRAG 成本较高。Agent 概念火热但实际落地多为 WorkFlow，稳定性优于动态决策。多模态模型在复杂任务中稳定性不如纯文本 LLM。O1 模型通过强化学习和推理时间扩展开辟新路径。2025 年发展方向聚焦于智能体、合成数据及推理计算优化。
又到了一年一度年终总结时刻，不过今年这篇总结，跟往年的不同，今年只聊 LLM。
2024 年是 LLM 蓬勃发展的第二年，发展确实十分迅速，层出不穷的新技术也让很多人看清了 LLM 现有的缺点。今天就跟大家分享一下 2024 年做了一年 LLM 的感受。
首先感谢一波 Qwen。其次，我要先承认，我是 Qwen 吹。对不起，只感谢 Qwen 确实对其他开源模型有些不公，但实事求是的讲，论模型尺寸的多样性、更新的速度、以及全面性，Qwen 确实开的够多。
当然 Llama、GLM、Yi、DeepSeek、MiniCPM 等等，也都在发力中，甚至前两天 DeepSeek 还开泼大的，671B，也是望尘莫及，虽然看着很强，但是我真没法跑，真没那么多卡。但反过来想一想，这也是 LLM 应用落地的现状，有时候从成本和推理优化的角度出发，本地化部署不如 API 调用，但出于数据安全等考虑，又不得不直接僵住。
此外开源的很多端侧模型（SLM）也是发展的很好，在降级成本的情况下，很多任务上做的都很不错。
我有个朋友说，做人最忌讳是既要有要，参数量就在那儿摆着呢，要不就别用 SLM，既然已经决定想省了，就别那么在乎效果了。
我又要祭出我拿着陈年老图了，虽然很多新模型还没放到上面，但是足以说明，开源社区做的越来越好，不能说智能性已经追赶上了闭源模型，但是在大多数任务上，开源模型已经可以做的足够好了。
最后，我想说，虽然在闭源模型上，中国相较于国外是还有一定差距，但在开源模型上，我想大声喊出那句，'我们是冠军'！请别再无脑吹'Llama'了，我们也有，而且更强！起码 2024 年是这样！
90% 是我随便说的哈，爱较真的朋友不要在意，理解我想表达的意思就行，就是数据很重要。
其实 2023 年的时候，我们已经知道数据的重要性了，数据的质和量都很重要。很多的算法工程师的日常工作就是洗数据，不愿面对也没有办法，这就是事实。
无论是在 Pre-training 阶段，还是 Post-training 阶段，数据的合成与收集、高质量数据过滤、多样性筛选都是必不可少的。单机的模型微调 deepspeed 足够保证训练效率，又有多少人真正读过 megatron 的代码呢？不过有时也真的没必要，可能真的也用不上，很多时候修改数据路径，修改模型保持路径之后，直接 bash sft_train.sh 就结束了。
所以，大部分时间还是在做数据的工作。
同时，合成数据也成为了 2024 年的关键词，在 Post-training 阶段，合成数据已经成为了必不可少的内容，而且在 Phi-4 的报告中也显示，预训练阶段，合成数据使用的占比也是高达 40%。
图片来自：Phi-4 Technical Report
并且 Ilya 在 NeurIPS 2024 的演讲中也提到'Synthetic data'是未来的发展方向，可见合成数据的重要性。
说回数据的重要，现在对于很多企业或者产品的核心竞争力，我依然依然是数据。
我有个朋友，每次在 Qwen、LLama 等大模型有更新的时候，就说今年的 KPI 稳了，直接老数据 + 新模型，效果又拉满了！
那么如果没有老数据的你，该怎么办！所以现在对于大多数人或企业来说，数据的积累（数据本身、数据合成的方法、数据清洗的方法）才是现在的核心竞争力。
当然，随着模型的不断发展，本身使用的数据越多，那么对没那么封闭的领域的冲击也会越来越大，这也无法避免的，基础的 LLM 终将会吃掉一些领域的。
还有，你觉得为什么会有那么多 API 免费调用，我不说，大家自己体会。
我有个朋友，经常说你的数据其实也是垃圾，别人也不一定使用，所以也不用担心，想那么多。
最后，想吐槽一下，别老想着三五百条微调大模型，真没必要，不如 ICL+ 动态示例，来的实在~~~
你会发现，在 2023 年经常听到的 Continue-pretrain 在 2024 年已经很少听到了，反而 Post-training 听到的次数越来越多。
那么还有 Continue-pretrain 吗，我个人认为还是有的，不过确实很少有人可以或会做了，主要原因有以下几个方面吧。
CPT 会影响模型通用能力，虽然通过数据混合，可以有一点的改善，但依然无法避免。而在进行 CPT 的时候，领域数据不能太少，要不然没少效果，但是很多想做的人，其实没有很多领域数据。
我有个朋友，说自己积累了 10 年的行业数据，想训练一个行业大模型，结果一统计数据，只有 2w 条数据。
CPT 的过程，一般是基于 Base 模型训练的，而现在很多大模型效果好的重点很大程度上是靠 Post-training 阶段，那么就带了一个问题，你 CPT 之后，是否有能力做好 Post-training 呢，答案显而易见。既然如此，还不如放弃 CPT，直接构造 SFT 数据来的实在。
此外，还有就是性价比的问题，CPT 带来的收益是否可以 cover 住你的成本，是否可以通过更加廉价的技术手段来提高领域、场景上的效果，比如 RAG。
还有随着大模型本身预训练数据的增多，Qwen2.5 的预训练数据已经达到了 18T Tokens，可能你所在领域的知识，早已被覆盖，也许你的 CPT 完全是在自嗨。
当然，上面情况你都已经考虑到，你有足够的领域数据，你只在乎领域上的效果，你有卡，但不足以从头 Pretrain 的时候，你依然可以选择 CPT，毕竟直接站在巨人的肩膀上看世界，更容易一些。
那么，你觉得 CPT 还需要吗？
在 2024 年年初的时候，我曾在知乎上写过一个回答，预测 2024 年 LLM 主要的发展和落地方向，当时我说上半年应该会以 RAG 为主的知识库问答成为主要落地场景，下半年应该会以 Agent 为主进行应用落地。
2024 年做了很多大模型落地项目，基本上都是以 RAG 为主，但是 RAG 落地真的很容易吗？真正落地的艰辛，只有交付过的人才懂。
我有个朋友说，现在很多客户被一些文章洗脑洗坏了，总是觉得 xxx 家的模型是万能的。
对于 RAG 来说，第一大坑，就是文档解析，大多数客户的文档都是 PDF 的，甚至很多偏老的企业的文档还都是扫描版的，那么如何将文档进行更好地解析，成为了 RAG 第一道关卡。
很多人会说，不就 OCR 嘛，也有很多开源的文档解析工具。我只想说，谁用谁知道了。就拿表格数据解析，只能说一言难尽。另外，新的抉择就是解析后的结果数据要不要二次人工校对。也许你觉得大模型有能力对文本错误内容进行纠错，但是这会与遵循文档原始内容相违背，幻觉加重。
第二大坑，就是向量召回了，你会发现，LLM 的能力已经不错，整体效果的限制在于检索不到相关文档片段。很尴尬，不是说找不到，而是找不全，对于一些比较、总结的问题，如果基础素材补全，那么回答的结果就会有遗漏和偏差。并且 Query-Doc 匹配，会由于 Doc 向量的内容较多，向量化的结果不一定好，需要对向量模型进行二次训练，针对性优化，你最终发现，又干回老本行了。
接下来，有一大坑就是针对多模态内容的回复。当然也许一些客户没有提到这个问题，那么你应该感到庆幸。做了一些 VQA 的实验，只能说不稳定，结果极其不稳定。不是说回答不出来，是很多你觉得应该回答出来的，回答的令人大跌眼镜。当然也会有一些替代方案，比如先将图片、表格预先生成 QA 或描述，再进行问答。
最后一坑，就是模型本身效果的问题，不同家、不同使用者，会对最终的答案的形式、精炼程度、额外内容容忍度会不同，那么 LLM 本身还是需要针对性微调。并且你会发现很多 answer，打眼一看还不错，仔细标注就会很纠结，可对可不对。还有就是项目交付就有准确率的问题，客户们已经被不良 PR 文洗脑，认为 RAG 的准确率起码要在 95%+。但如果你用 6B、7B、14B 级别的模型，有时也挺难的，没人会在意你的痛苦，大家只知道 RAG 很好落地，可以解决幻觉。
所以，我想说，RAG 搭出来很简单，做好还是有难度的，不是上嘴皮一碰下嘴皮就可以了。不过用心去做，还是很多项目顺利完了交付。
当然今年出的 GraphRAG 也是火了一阵子，但由于自动构建 Graph 的成本问题，也有相关的优化方案，这里不再过多赘述了。
我又开始胡说八道了，没错 2024 年的 Agents 让我很失望，但我用 WorkFlows 做了很多项目。
我发现一个现象，很多人在混淆 Agents 和 WorkFlows 的概念。WorkFlows 是由人来事先定义好明确的规则和流程，利用 LLM 或者工具解决中间某些步骤的问题；而 Agents 是为了更加灵活地处理某些任务，由 LLM 直接动态决策自己的流程和工具使用，无需预定义的规则。所以，现在落地过程当中，大多都是 WorkFlows。
推荐大家看看 Anthropic 在年底发的一篇《Building effective agents》文章，里面写的比较清楚，什么是 Agents，什么时候该使用 Agents，什么时候 WorkFlow 就够了。
link: https://www.anthropic.com/research/building-effective-agents
在这里强调一下不是批判 WorkFlows 不好，不管黑猫白猫，捉到老鼠就是好猫。并且由于很多真实落地的场景，都是有明确规则或流程的，完全没有必要非 LLM 自动编排。
而 LLM 虽然现在很强，但是你如果真使用 LLM 进行自动编排的时候，你就会发现不可控和不稳定的问题，也就是执行效率的问题。
相同的一个任务，如果采用 WorkFlows，32B 模型用的稳稳当当；但采用 Agents，可能 GPT4 要执行好多次才能给出最终的答案，而且可能有时候能给出了有时候给不出来。
所以，感觉真正落地，WorkFlows 才是稳定的解法，当然 RAG 就是 WorkFlows 的一种。
而 Agents 适合解决一些复杂、难以规划、需要不断探索的场景。
说回今年 12 月份，Devin 正式上线，500$/月，有点小贵，充不起。有幸群友冲了一个，然后观摩了一下，有一些意想不到的效果，但给我的感觉就是很重，想用好其实也不是很容易。并且由于会反复进行一些校验操作，后台吃 Token 也是扛扛的。
我觉得，Agents 是未来，但现在很多 LLM 还不足以支撑。
我有个朋友，说 WorkFlows 也不 low，没必要非用 Agents 做掩饰！
从 GPT4-o 出来之后，LLM 在多模态方向也是全面发力，在 2024 年也是取得了很大的进步。开源的 VLM 模型在榜单指标上效果也是十分出色。
图片来自：OpenCompass 评测榜单
但是在很多真实场景上，VLM 的效果感觉还差很多，例如我需要将一张流程图，按照步骤解析成文本；从感知上我觉得不复杂，但 VLM 生成的结果，不是少步骤，就是编号有问题。当前我前几天也写了一篇关于多模态大模型在表格解析任务效果的文章，也是一个 VLM 落地失败的场景。特别是，我觉得 VLM 的稳定性不如纯 LLM。
我也发现了一个有趣的问题，针对一道题目，以纯文本的形式问模型，可以回答的很好；但如果将这道题以图片的形式进行输出，那么就会回答错误。
题目来自@南乔，模型为 Gemini2.0
上面的截图只是一个示例，我有时候测试总是会发现是这样的问题。不确定是偶然还是必然，没有经过系统的评估。所以在这里抛出这个问题，欢迎大家指证，如果有相关 Paper 也欢迎甩出来。
总感觉，vision 的部分会对 llm 有影响，而由于多模态训练的可能不充分，导致多模态模型不如纯 LLM 智能。
因为我没有系统的探究过 VLM 的相关论文，所以上面的想法，都是在实践过程中，遇到问题后的一些想法。我用着 VLM 的最舒服的场景是公式识别，有点东西的。
多模态应该就是 AGI 的未来，但目前看来，还得继续努力~~
黑 OpenAI 归黑，但是你必须承认，它到目前为止还在引领着 LLM 的技术更新。
在 O1 出来前，我真的觉得强化学习都没了，感觉 LLM 都要没了，因为你会发现，LLM 是蛮强的，但也就那样。LLM 给人带来的冲击已经微乎其微，甚至很多人已经开始脱敏了。
今天 xxx 出了一个新模型，明天 xxx 又开源了一个新模型，内心 os：又是刷榜、又是那一套。
但 O1 的出现，证明了 RL 和 Inference Time Scaling 是另外一个路线，当数据、参数基本达到上限的情况下，你可以通过 Post-training 和增加推理时间，来进一步提升模型的能力，解决更加复杂的问题。
该说不说，又是引领了一波潮流看，之后国内外其他厂，也陆陆续续推出了类 O1 的模型。反正 Altman 应该是有点怨言的，如下图。
当然 O1 不是万能的，就算后面推出的 O3 也不是，他在普通任务上的表现，有时不如 GPT4-o，但它是一个发展的方向，与之前不同的发展方向。
我有个朋友，跟我说，现在的大模型做那种很难得奥数题，效果刚刚得杠杠的，有时候简单题反而到解不出来。有一种研究生学历的家长，被孩子小学题，难得满头大汗的感觉。
但 OpenAI 告诉我，强化学习才是未来，于是乎，又默默的打开了尘封已久的 OpenRLHF 项目代码。
借用 Ilya 的 PPT，表示认同，Agents、Synthetic Data、Inference Time Compute-O1。
在额外新增多模态吧，总感觉现在加上图信息之后 LLM 回答会降智，总感觉图 + 文训练的没那么好。
不知不觉之间已经写的差不多了，只能说今年感慨很多，走了一些弯路，也有一些成长。
上面的一些经历、吐槽、想法特此分享给大家。
虽然还有很多其他的有趣事情，篇幅有限，咱们 2025 继续！！
愿 2025 LLM 越来越好~~~
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online