2024 年大模型实践中的收获与反思

你会发现，在 2023 年经常听到的 Continue-pretrain 在 2024 年已经很少听到了，反而 Post-training 听到的次数越来越多。

那么还有 Continue-pretrain 吗，我个人认为还是有的，不过确实很少有人可以或会做了，主要原因有以下几个方面吧。

CPT 会影响模型通用能力，虽然通过数据混合，可以有一点的改善，但依然无法避免。而在进行 CPT 的时候，领域数据不能太少，要不然没少效果，但是很多想做的人，其实没有很多领域数据。

我有个朋友，说自己积累了 10 年的行业数据，想训练一个行业大模型，结果一统计数据，只有 2w 条数据。

CPT 的过程，一般是基于 Base 模型训练的，而现在很多大模型效果好的重点很大程度上是靠 Post-training 阶段，那么就带了一个问题，你 CPT 之后，是否有能力做好 Post-training 呢，答案显而易见。既然如此，还不如放弃 CPT，直接构造 SFT 数据来的实在。

此外，还有就是性价比的问题，CPT 带来的收益是否可以 cover 住你的成本，是否可以通过更加廉价的技术手段来提高领域、场景上的效果，比如 RAG。

还有随着大模型本身预训练数据的增多，Qwen2.5 的预训练数据已经达到了 18T Tokens，可能你所在领域的知识，早已被覆盖，也许你的 CPT 完全是在自嗨。

当然，上面情况你都已经考虑到，你有足够的领域数据，你只在乎领域上的效果，你有卡，但不足以从头 Pretrain 的时候，你依然可以选择 CPT，毕竟直接站在巨人的肩膀上看世界，更容易一些。

那么，你觉得 CPT 还需要吗？

RAG 很容易落地吗

在 2024 年年初的时候，我曾在知乎上写过一个回答，预测 2024 年 LLM 主要的发展和落地方向，当时我说上半年应该会以 RAG 为主的知识库问答成为主要落地场景，下半年应该会以 Agent 为主进行应用落地。

2024 年做了很多大模型落地项目，基本上都是以 RAG 为主，但是 RAG 落地真的很容易吗？真正落地的艰辛，只有交付过的人才懂。

我有个朋友说，现在很多客户被一些文章洗脑洗坏了，总是觉得 xxx 家的模型是万能的。

对于 RAG 来说，第一大坑，就是文档解析，大多数客户的文档都是 PDF 的，甚至很多偏老的企业的文档还都是扫描版的，那么如何将文档进行更好地解析，成为了 RAG 第一道关卡。

很多人会说，不就 OCR 嘛，也有很多开源的文档解析工具。我只想说，谁用谁知道了。就拿表格数据解析，只能说一言难尽。另外，新的抉择就是解析后的结果数据要不要二次人工校对。也许你觉得大模型有能力对文本错误内容进行纠错，但是这会与遵循文档原始内容相违背，幻觉加重。

第二大坑，就是向量召回了，你会发现，LLM 的能力已经不错，整体效果的限制在于检索不到相关文档片段。很尴尬，不是说找不到，而是找不全，对于一些比较、总结的问题，如果基础素材补全，那么回答的结果就会有遗漏和偏差。并且 Query-Doc 匹配，会由于 Doc 向量的内容较多，向量化的结果不一定好，需要对向量模型进行二次训练，针对性优化，你最终发现，又干回老本行了。

接下来，有一大坑就是针对多模态内容的回复。当然也许一些客户没有提到这个问题，那么你应该感到庆幸。做了一些 VQA 的实验，只能说不稳定，结果极其不稳定。不是说回答不出来，是很多你觉得应该回答出来的，回答的令人大跌眼镜。当然也会有一些替代方案，比如先将图片、表格预先生成 QA 或描述，再进行问答。

最后一坑，就是模型本身效果的问题，不同家、不同使用者，会对最终的答案的形式、精炼程度、额外内容容忍度会不同，那么 LLM 本身还是需要针对性微调。并且你会发现很多 answer，打眼一看还不错，仔细标注就会很纠结，可对可不对。还有就是项目交付就有准确率的问题，客户们已经被不良 PR 文洗脑，认为 RAG 的准确率起码要在 95%+。但如果你用 6B、7B、14B 级别的模型，有时也挺难的，没人会在意你的痛苦，大家只知道 RAG 很好落地，可以解决幻觉。

所以，我想说，RAG 搭出来很简单，做好还是有难度的，不是上嘴皮一碰下嘴皮就可以了。不过用心去做，还是很多项目顺利完了交付。

当然今年出的 GraphRAG 也是火了一阵子，但由于自动构建 Graph 的成本问题，也有相关的优化方案，这里不再过多赘述了。

2024 没有 Agents，只有 WorkFlows

我又开始胡说八道了，没错 2024 年的 Agents 让我很失望，但我用 WorkFlows 做了很多项目。

我发现一个现象，很多人在混淆 Agents 和 WorkFlows 的概念。WorkFlows 是由人来事先定义好明确的规则和流程，利用 LLM 或者工具解决中间某些步骤的问题；而 Agents 是为了更加灵活地处理某些任务，由 LLM 直接动态决策自己的流程和工具使用，无需预定义的规则。所以，现在落地过程当中，大多都是 WorkFlows。

推荐大家看看 Anthropic 在年底发的一篇《Building effective agents》文章，里面写的比较清楚，什么是 Agents，什么时候该使用 Agents，什么时候 WorkFlow 就够了。

link: https://www.anthropic.com/research/building-effective-agents

在这里强调一下不是批判 WorkFlows 不好，不管黑猫白猫，捉到老鼠就是好猫。并且由于很多真实落地的场景，都是有明确规则或流程的，完全没有必要非 LLM 自动编排。

而 LLM 虽然现在很强，但是你如果真使用 LLM 进行自动编排的时候，你就会发现不可控和不稳定的问题，也就是执行效率的问题。

相同的一个任务，如果采用 WorkFlows，32B 模型用的稳稳当当；但采用 Agents，可能 GPT4 要执行好多次才能给出最终的答案，而且可能有时候能给出了有时候给不出来。

所以，感觉真正落地，WorkFlows 才是稳定的解法，当然 RAG 就是 WorkFlows 的一种。

而 Agents 适合解决一些复杂、难以规划、需要不断探索的场景。

说回今年 12 月份，Devin 正式上线，500$/月，有点小贵，充不起。有幸群友冲了一个，然后观摩了一下，有一些意想不到的效果，但给我的感觉就是很重，想用好其实也不是很容易。并且由于会反复进行一些校验操作，后台吃 Token 也是扛扛的。

我觉得，Agents 是未来，但现在很多 LLM 还不足以支撑。

我有个朋友，说 WorkFlows 也不 low，没必要非用 Agents 做掩饰！

多模态模型不如纯 LLM 智能

从 GPT4-o 出来之后，LLM 在多模态方向也是全面发力，在 2024 年也是取得了很大的进步。开源的 VLM 模型在榜单指标上效果也是十分出色。

图片来自：OpenCompass 评测榜单

但是在很多真实场景上，VLM 的效果感觉还差很多，例如我需要将一张流程图，按照步骤解析成文本；从感知上我觉得不复杂，但 VLM 生成的结果，不是少步骤，就是编号有问题。当前我前几天也写了一篇关于多模态大模型在表格解析任务效果的文章，也是一个 VLM 落地失败的场景。特别是，我觉得 VLM 的稳定性不如纯 LLM。

我也发现了一个有趣的问题，针对一道题目，以纯文本的形式问模型，可以回答的很好；但如果将这道题以图片的形式进行输出，那么就会回答错误。

题目来自@南乔，模型为 Gemini2.0

上面的截图只是一个示例，我有时候测试总是会发现是这样的问题。不确定是偶然还是必然，没有经过系统的评估。所以在这里抛出这个问题，欢迎大家指证，如果有相关 Paper 也欢迎甩出来。

总感觉，vision 的部分会对 llm 有影响，而由于多模态训练的可能不充分，导致多模态模型不如纯 LLM 智能。

因为我没有系统的探究过 VLM 的相关论文，所以上面的想法，都是在实践过程中，遇到问题后的一些想法。我用着 VLM 的最舒服的场景是公式识别，有点东西的。

多模态应该就是 AGI 的未来，但目前看来，还得继续努力~~

O1 给 LLM 又续了一条命

黑 OpenAI 归黑，但是你必须承认，它到目前为止还在引领着 LLM 的技术更新。

在 O1 出来前，我真的觉得强化学习都没了，感觉 LLM 都要没了，因为你会发现，LLM 是蛮强的，但也就那样。LLM 给人带来的冲击已经微乎其微，甚至很多人已经开始脱敏了。

今天 xxx 出了一个新模型，明天 xxx 又开源了一个新模型，内心 os：又是刷榜、又是那一套。

但 O1 的出现，证明了 RL 和 Inference Time Scaling 是另外一个路线，当数据、参数基本达到上限的情况下，你可以通过 Post-training 和增加推理时间，来进一步提升模型的能力，解决更加复杂的问题。

该说不说，又是引领了一波潮流看，之后国内外其他厂，也陆陆续续推出了类 O1 的模型。反正 Altman 应该是有点怨言的，如下图。

当然 O1 不是万能的，就算后面推出的 O3 也不是，他在普通任务上的表现，有时不如 GPT4-o，但它是一个发展的方向，与之前不同的发展方向。

我有个朋友，跟我说，现在的大模型做那种很难得奥数题，效果刚刚得杠杠的，有时候简单题反而到解不出来。有一种研究生学历的家长，被孩子小学题，难得满头大汗的感觉。

但 OpenAI 告诉我，强化学习才是未来，于是乎，又默默的打开了尘封已久的 OpenRLHF 项目代码。

2025 年 LLM 的发展方向

借用 Ilya 的 PPT，表示认同，Agents、Synthetic Data、Inference Time Compute-O1。

在额外新增多模态吧，总感觉现在加上图信息之后 LLM 回答会降智，总感觉图 + 文训练的没那么好。

写在最后

不知不觉之间已经写的差不多了，只能说今年感慨很多，走了一些弯路，也有一些成长。

上面的一些经历、吐槽、想法特此分享给大家。

虽然还有很多其他的有趣事情，篇幅有限，咱们 2025 继续！！

愿 2025 LLM 越来越好~~~