AI 大模型如何重构智能汽车设计与开发

来源：知乎

AI 大模型是平台级 AI，包括一线科技公司推出的大模型如 ChatGPT，文心一言等。平台级 AI 可以作为技术基础，全面赋能操作系统，被视为下一代操作系统的新内核。传统的操作系统内核主要负责管理和调度系统的硬件资源，如 GPU、内存等，以确保系统的正常运行和高效利用。然而，随着用户需求的日益增长，AI 系统需要解析许多与人相关的个性化体验。

对于个人知识库、人的位置和状态感知、人的习惯爱好等与人相关的个性化因素，传统的操作系统无法进行有效的计算和处理。因此，我们需要一个全新的内核来满足这些需求。平台级 AI 大模型的强大之处在于，它能够管理和处理多种个人因素，帮助操作系统精准识别用户的意图。有了这样的能力，全新的操作系统就能为所有人带来'猜你所想，懂你所需'的智慧体验。

在汽车座舱应用中，要做到真正的千人千面，还需要车企根据自家车型和服务的特点，对 AI 大模型做进一步的定制，也就是基于平台级 AI 大模型基础上的 AI Agent。我们可以看到，吉利车型（譬如极越、银河）基于百度文心一言推出的座舱系统，奔驰接入 ChatGPT 后的车载语音助手，实际上都是一种 AI Agent。

目前，智驾 AI Agent 和座舱 AI Agent 是分离的，未来随着舱驾融合的发展，智驾 AI Agent 和座舱 AI Agent 也将走向融合。但是，主机厂和 Tier1 现在考虑舱驾融合，就不能只考虑硬件层面的融合，还需要考虑操作系统和整车系统架构层面，特别是要考虑大模型/AI Agent 模式的快速演进。

大模型/AI Agent 目前是操作系统/APP 生态的一部分，未来会取代操作系统/APP 模式吗？我们认为是有可能的。

基于大模型的 Agent 不仅可以让每个人都有增强能力的专属智能助理，还将改变人机协同的模式，带来更为广泛的人机融合。人类与 AI 协同有三种模式：嵌入（embedding）模式，副驾驶（Copilot）模式，智能体（Agent）模式。

来源：知乎

在智能驾驶中，嵌入（embedding）模式相当于 L1-L2 级自动驾驶，副驾驶（Copilot）模式相当于 L2.5 和高速 NOA，智能体（Agent）模式相当于城市 NOA 和 L3 级自动驾驶。

在智能体（Agent）模式下，人类设定目标和提供必要的资源（例如计算能力），然后 AI 独立地承担大部分工作，最后人类监督进程以及评估最终结果。这种模式下，AI 充分体现了智能体的互动性、自主性和适应性特征，接近于独立的行动者，而人类则更多地扮演监督者和评估者的角色。

在 AI 智能体（Agent）模式下，原来通过车机 APP 实现的大量交互操作，现在通过自然形态交互（语音，手势等）就能实现目标。甚至 AI Agent 主动观察车内外情况，提出需求问询，经过车主确认后即可执行某项任务。

因此，AI Agent 的发展必然让以前的大量 APP 变得没有必要，必将给智能座舱和智能驾驶的开发及应用，带来颠覆性影响。

当前的 AI 大模型并不是操作系统，而是一种人工智能模型的范式和架构，关注如何让机器具备处理多种模态数据 (如文本、图像、视频等) 的能力。AI Agent 更类似于一种人工智能应用或应用层，需要底层操作系统和硬件的支持才能运行，本身不负责计算机系统的基本管理和资源调度。未来 AI 大模型很可能和 OS 结合，成为 AIOS。

AI 大模型和 AI Agent 的发展对未来操作系统的影响包括：

1. 小 APP 程序将会消失或者演变成调用大模型的 AI 智能体形态；
2. OS 体系可能演变成大模型 + 计算芯片的核心集群 OS 架构；
3. AI 大模型作为平台重新定义和赋能各类行业应用场景，催生更多以人机交互为核心的原生应用，包括自动驾驶车辆、机器人和数字孪生应用等。

报告核心内容概览

该研究报告共 160 页，深入探讨了以下关键领域：

1. AI 大模型应用现状与未来趋势

• 多模态大模型演进： 分析了通用架构和演进趋势，特别是 VLM（视觉语言模型）对 3D 道路场景理解的影响。
• Sora 与自动驾驶： 探讨了 Sora 文本生成视频大模型对自动驾驶 AD 基础大模型（世界模型）的推动预测，对比了算力需求及社会价值。
• 行业痛点： 分析了智能汽车行业 AI 大模型的现存问题及解决思路，包括 AI 计算芯片设计的痛点和应对措施。

2. AI 大模型对汽车硬件层的影响

• 芯片设计变革： 探讨了 LLM 大模型对智能汽车 SoC 设计范式的变革，以及 NVIDIA 自动驾驶 DRIVE 系列芯片的适配情况。
• 传感器与感知： 分析了大模型驱动的感知能力融合与共享的演进趋势。

3. AI 大模型对汽车 SOA 架构/操作系统的影响

• EE 架构进化： 讨论了 AI 大模型对算力需求的增加如何推动 EE 架构向 3.0 版本演进。
• SOA 发展方向： 从大模型 Agent 技术视角看 SOA 的发展方向。
• OS 设计影响： 详细阐述了 AI 大模型如何影响操作系统的内核设计、资源调度及个性化服务支持。

4. AI 大模型对汽车数据闭环/仿真系统的影响

• 数据闭环： 介绍了数据驱动的自动驾驶系统，以及华为盘古大模型、商汤数据闭环方案等在其中的应用。
• 仿真系统： 探讨了自动驾驶视觉大基础模型 VFM、生成式世界模型 GAIA-1 系统架构对仿真测试的革新。

5. AI 大模型对自动驾驶和智能座舱的影响

• 自动驾驶： 分析了自动驾驶 AD 基础大模型的应用场景、局限性及多模态大模型智驾应用。
• 座舱域控： 探讨了多模态基础大模型对交互设计的影响，包括数据分析决策与自主学习提供的个性化服务。

6. AI AGENT 与汽车

• 发展趋势： 展望了 AI AGENT 在智能汽车中的应用趋势及具体案例。

开发者应对策略

面对 AI 大模型带来的颠覆性影响，技术人员和企业在开发过程中应关注以下几点：

1. 架构升级： 在电子电气架构设计中预留 AI 边缘侧和 AI 服务层接口，适应大模型对算力的动态需求。
2. 技能转型： 从传统的 APP 开发思维转向 Prompt Engineering、LangChain 框架及模型微调（Fine-tuning）能力的培养。
3. 数据治理： 建立高质量的数据闭环，确保用于训练和推理的数据能够覆盖长尾场景，提升模型泛化能力。
4. 人机协作： 重新定义人机交互界面，从点击式操作转向自然语言和多模态交互，充分利用 Agent 的自主性。

随着技术的成熟，AI 大模型将成为智能汽车的核心驱动力，重塑整个行业的价值链。