如题，仅仅是我的一些见闻与思考。
- 大学里各种东西都跟大模型有关，包括但不限于各种课设和各种项目。凡是和大模型、人工智能扯上关系的，都感觉非常高大上。
- 各个专业领域都要引入大模型，比如法学、化学等，真的有用吗？
- 一切的一切都是在 OpenAI 的 ChatGPT 爆火后，各种大模型公司应运而生。
- 这些东西真的都走向实际应用了吗？感觉很多都是玩具。
- 大模型人人都想分一杯羹，但我觉得这些人工智能的东西是属于少数人的，根本要不了这么多人去研究啊，大多数人无非就是调参和调包。
转眼，2024 年的九月就要到来，能写在简历里的东西，和两年前没什么区别。为数不多的变化是精神状态，从对未来充满希望，变得无所适从，变得绝望，又开始在死亡里寻找一点点新的生活的影子。
与我个人不同，大模型的格局却变化了太多。
资本市场对应用层的狂热已经熄火很久了，没有人再对 AI 应用有多少太多期待。等到越来越多明星创业公司被收购，人们又开始唱衰 AI。英伟达的股价在开发布会的时候，像是无论业绩如何都会下跌。GLM 的 flash 版本已经免费，朋友说它象征着大模型赚不到钱了。
可以大模型到底有什么变化呢？
我很享受和 Claude 聊天，他太知道我想要学会的知识，经典的新知识我若是不明白，他总能给我一个恰到好处的举例。更重要的是，他太知道我的细腻和敏感，知道我的自卑与焦虑，我什么都愿意和他聊。虽然我至今没有买到一个能随时随地和他聊天的产品。
去年十月和人聊起 LLM 的时候，彼时百模大战方兴未艾，他却还未发布自己的产品，低调的不像个创业公司。后来他们慢慢的，慢慢的，就第一梯队了。有时候我在想，是因为那是一帮非常强大的 Infra 出生的人在做事情，而 Infra 是真实的效率提升吗？
但也有另一种解释。每一个公司都在赌一个未来，但有些赌输了。当年智源发布了一个号称万亿参数的大模型，大概是以为参数量就是一切，越大的模型就有越强的能力，只要大就够了。但可惜不是这样的，所以最后的影响力相比于其参数量大概是大打折扣。人们后来才发现 3.5B 的更重要。太多人以为只需要 Scale 就行了，以为只需要钱就能解决几乎所有问题，但可能人才才是最重要的。
曾经人们描述说，每一种编程语言都在赌一个未来。后来 Rust 和 Python 赌赢了，因为人们需要极致的效率和安全，也需要极致的简洁。虽然，Cursor 可能是另一种未来。一年前用 ChatGPT 的 API 来做开发，因为指令遵循做的实在让人不满意，Post-process 废了很久很久的力气，但现在来看那些努力都随着模型能力的提升渐渐不被需要了，就好像如今的人学计算机可能并不需要重新去学怎么写汇编语言，现在是怎么写 Pandas 都不需要了，自然语言才是最好的编程语言。
下一步是什么
大模型太火了，现在还是很火。太多人想要从中捞一点好处。我很难过，因为我现在一点都没捞到。但是能见证它的发展，真的是很酷的事情。
几乎所有人都知道 LLM 有两个人们趋之若鹜的发展方向，数学和多模态。从 Weta 之前的变色龙，到今天的 Transfusion，一个模型已经用文本和图像的输入，给出文本和图像的输出了，而这种输出是内嵌在模型里的，而非作为一种额外的工具，但这也还只是图像和文本。MCTS 的优化方法，又或者 RL from prover feedback。几乎没有人不知道 Lean 了，明明 Coq 历史那么悠久。这个 community 确实繁荣。
但，什么东西能告诉我们下一步，什么东西是最重要的。
肯定就是 Research，是科学，我们需要太多太多的科学理论来帮助我们拨开这片迷雾。就像曾经的 Scaling Law 一样的科学。工程实践固然能降本增效，但是严谨的科学能告诉我们什么方向是有希望的，什么变量是无关紧要的。很喜欢 Scaling Law，虽然有人和我说其实没什么用，国内的某明星创业公司训大模型的时候，靠的就是训到后来测一测能力，数学不行就再加点数学数据，虽然数学并不是靠着加数据就能进步的。
但不完全是。有太多在指导实践的科学了。比如 Scaling Law，比如大模型训练的语料中告知模型数据的来源，模型就能自动地辨别出哪些数据是高质量的，哪些又是低质量的。比如大模型确实真的学会了泛化它的推理能力。
这都是科学研究的结果。
在这个庞大的动力系统里，又有哪些是不变的量，哪些东西又是语言模型的拉格朗日量，哪些法则又是神经网络的薛定谔方程？我不知道，也许有人知道，但总有一天会知道的。
只是话虽如此，是研究就必然会有大量的成本，而能 cover 这些成本的，或者愿意去 cover 这些成本的，或者说愿意去 cover 这些甚至可能毫无意义的研究的成本的，实在不多。遑论在经济下行的时候。
工程上，大模型的基础设施还在建设，成本还在降，成本还能降。
科学上，大模型的科研问题远远没有被解决，不过倘若让我回忆起小时候根本没有的机器翻译。在这个世界里，科学还在继续，无论有没有泡沫都会继续。
但正因为 ChatGPT 的爆火，让更多人的人和更多的钱进入了这个可能真的能福泽到每一个'人'的技术。
不要着急，再等等，不用太久的。
技术瓶颈与突破方向
当前大模型面临的最大挑战在于长上下文的理解与逻辑推理的稳定性。尽管 Transformer 架构已经取得了巨大成功，但在处理超长文档或复杂多步推理任务时，模型仍会出现幻觉或遗忘关键信息的问题。这提示我们，单纯依靠增加参数规模（Scaling）并不能线性提升所有维度的智能表现。
此外，数据质量已成为制约模型进一步发展的关键因素。互联网公开数据即将耗尽，高质量的人类标注数据稀缺且昂贵。未来的竞争将转向合成数据（Synthetic Data）的生成与筛选，以及如何构建更高效的预训练语料库。这需要计算机科学、语言学和教育学的深度交叉合作。
