本文整理了李沐关于大模型趋势的演讲内容。文章首先分析了算力层面的带宽、内存瓶颈及成本趋势，指出内存将制约模型上限。其次探讨了模型演进，包括语言模型参数规模主流区间、语音模型的低延迟优势、图像视频生成的现状及多模态整合方向。接着讨论了应用落地，区分了白领与蓝领工作的自动化难度，并指出杀手级应用尚在探索。最后分享了创业感悟，强调后训练是关键技术环节，数据决定模型上限，评估至关重要，且算力成本结构决定了自建与租用的选择策略。整体观点认为大模型技术仍需长期积累，物理世界交互尚需时日。
李沐是上海交通大学计算机科学与工程系本硕校友，曾任亚马逊资深首席科学家、加州大学伯克利分校和斯坦福大学访问助理教授，Marianas Labs 联合创始人，Apache MXNet 创始人之一。目前担任 BosonAI 联合创始人。
8 月 23 日，李沐回到母校上海交大，做了一场关于 LLM（大语言模型）和个人生涯的分享。本文根据现场演讲整理而成，旨在探讨大模型的技术现状、未来趋势以及创业过程中的技术洞察。
在当前的模型训练中，单机无法完成所有任务，分布式训练成为常态。而分布式训练的核心瓶颈往往在于带宽。目前的带宽标准是一根光纤承载 400 Gigabits，下一代将提升至 800 Gigabits。
英伟达发布的 GB200 系统展示了新的硬件形态。为了应对供电和散热问题，新一代 GPU 服务器采用了更紧凑的机架设计，一个机架位仅能容纳两台机器，但内部集成了 72 块卡。这得益于水冷工艺的引入。相比空气冷却，水的密度更高，带走热量的能力更强，允许芯片更密集地排列。芯片之间通过光纤直接互联，以光速互通，大幅降低了多卡之间的通信延迟。这种'多卡合一'的趋势类似于单核封装到芯片内，现在则是将多卡尽可能压缩在一起，以解决摩尔定律放缓带来的工艺难题。
此外，GPU 与 CPU 之间的 PCIe 通讯也在每几年翻倍，但速度仍慢于片间互联。
内存的重要性甚至超过算力。大模型需要将海量数据压入模型中，导致模型体积达到几百 GB。运行时中间变量也很大，需要大量显存。目前单芯片封装近 192 GB 内存，但这已接近物理极限。由于芯片面积有限，分配给算力和内存的比例存在权衡。未来几年，单芯片 200GB 内存可能成为天花板。这意味着模型大小在一定程度上受限于内存容量，而非单纯的算力不足。如果内存不够，模型就无法做大，效率会急剧下降。
在这一领域，虽然英伟达领先，但 AMD 和 Google TPU 在某些方面具有竞争力。
机器学习优化了浮点数精度（如 4 位浮点数），使得硬件变小且利用率提高。然而，随着模型增大，供电成为主要问题。数据中心曾考虑自建电厂，因为大规模芯片集群的耗电量巨大。单个芯片功耗可达一千瓦，千卡集群即兆瓦级。
从市场角度看，理论上算力翻倍价格应保持不变。但由于英伟达的垄断，短期算力翻倍价格可能提升 1.4 倍。长期来看，随着竞争加剧和摩尔定律发挥作用，算力成本会逐渐降低。因此，今天训练的模型一年后价值可能减半。大模型并非高性价比投资，需关注其长期保值能力和实际业务价值。
预训练通常使用 10T 到 50T Token 的数据量。人类历史数据的多样性和质量在此规模下已趋于饱和，继续增加数据未必带来显著提升。因此，主流模型参数规模预计在 100B 到 500B 之间。超过 500B 的稠密模型在 Serving（服务部署）阶段面临极大困难，谷歌历史上未上线过有效大小超过 500B 的模型。MoE（混合专家）架构除外，其激活参数量仍可控制在 500B 左右。受限于内存和数据规模，100B 至 500B 将是未来一段时间的主流。
GPT-4o 等模型推动了端到端语音技术的发展。传统流程是 ASR 转文本 -> 语言模型生成 -> TTS 转语音，延迟较高。新架构允许原始语音信号直接输入并输出，保留了情绪、语调、方言及背景音等信息。这不仅提升了交互的自然度，还将延迟降低至 300 毫秒以内，支持打断式对话，更接近真人交流。此外，文本指令可定制化控制声音风格。
图像生成是目前 AIGC 领域最成熟的方向，像素级细节已非常逼真，正在逐步获得'灵魂'。视频生成尚处早期，Sora 展示了潜力，但通用视频生成成本高昂，且保持时间一致性极具挑战。开源模型较少，主要受限于数据处理成本。
多模态趋势在于利用文本丰富的信息和易获取性，将技能泛化到图片、视频和声音。通过文本指令即可控制其他模态的输出，降低了专业工具门槛。人机交互方式将从点击操作转向自然语言描述，用户愿意输入长文本或语音来完成复杂任务。
文科白领（写作、沟通）是 AI 最先渗透的领域，个人助理、呼叫中心、文本处理等场景已完成大部分自动化。工科白领（编程）方面，AI 可自动检索代码片段并修改变量，但处理复杂逻辑仍需人工介入。目前 AI 尚未完全取代程序员一小时的工作量。
蓝领工作（端盘、运货）最难实现自动化。除自动驾驶外，机器人进入非结构化环境理解物体极其困难。这需要大量传感器数据和泛化能力，存在'鸡生蛋'的数据困境。除非有技术突破，否则 AI 理解并互动物理世界可能需要至少 5 年。
当前尚未出现杀手级应用。手机时代的 Killer App 是短视频。AI 时代的应用形态仍在探索中，随着技术成熟和用户习惯改变，新的应用形态终将涌现。
过去认为预训练是核心，现在看来预训练更多是工程问题，需要大量算力和人力。后训练（微调）才是技术问题，高质量的结构化数据和改进算法能极大提升效果。RLHF（基于人类反馈的强化学习）虽被广泛认可，但具体算法效果高度依赖数据分布和目标函数假设，不同场景下表现差异大。
垂直模型并非万能。没有真正的纯垂直模型，即使深耕某一领域，通用能力也不能太差。通用模型的指数级提升需求意味着必须兼顾基础能力。
模型评估极难且关键。简单榜单无法反映实际场景的复杂性。有效的评估体系能解决 50% 的问题，并提供优化所需的数据。自然语言评估存在二义性，需结合模型评估与人工校验。
数据决定了模型的上限，算法决定下限。AGI 尚远，当前模型仍处于填鸭式学习状态。Claude 3.5 等模型表现优异，关键在于数据积累。企业若想在某领域做到极致，需提前布局数据采集与清洗，这是一个长期过程。
自建机房与租用 GPU 成本差异不大，大头在于 GPU 采购。英伟达占据主要利润，显卡溢价严重。三年费用占比中，GPU 成本可达 50%。自建的优势在于节省 CPU 算力和存储网络成本，适合数据量极大的场景。云服务的存储成本随时间增长显著，自建硬件在长期运营中更具经济性。
大模型本质仍是机器学习，只是规模扩大了 100 倍。它带来了工程上的困难，但核心逻辑未变：吃数据、重评估。对于从业者而言，不必神化新技术，而应关注如何改进算法、积累高质量数据，并在特定场景中找到可持续的价值点。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
