佐思汽研发布《2024 年 AI 大模型对整车智能化设计和开发的影响研究报告》。
AI 大模型正经历突飞猛进的发展，ChatGPT 和 SORA 的推出让人感到震撼。处于 AI 前沿的科学家和企业家指出，AI 大模型将重构各行各业，特别是科技相关的领域。智能汽车作为一种科技产品，将如何被 AI 大模型改变？
大模型如何重构智能汽车？
继《2024 年汽车 AI 大模型技术和应用趋势研究报告》从宏观层面探讨 AI 大模型对汽车行业的影响之后，佐思汽研推出第二份研究报告《2024 年 AI 大模型对整车智能化设计和开发的影响研究报告》，从汽车硬件层、操作系统层、应用功能层、云端大数据层等方面研究 AI 大模型对整车智能化设计和开发的影响。
2023 年，长安汽车在原有的 SDA 软件驱动架构上（SDA 原来包含 L1-L6 层），加入了 AI 边缘侧和 AI 服务层。可以看到 AI 技术已经影响到智能汽车的大多数层面：L3 电子电器架构层，L4 整车操作系统层，L6 整车功能应用层（含座舱、网联和智驾），L7 云端大数据层等。L1 机械层的底盘部分，L2 动力层的电池部分，实际上也已经开始有 AI 应用案例。
来源：长安汽车
总结当前主机厂和 Tier1 的大模型应用情况，主要还处于整车智能化的局部层面，或开发流程的某个环节。
整理：佐思汽研
观察 AI 大模型在汽车应用的大趋势，我们还需要从大模型的演进中寻找思路。根据腾讯研究院的成果，AI 将从大脑进化到 AI Agent，从 CoPilot 进化到自主驾驶。
来源：腾讯研究院
什么是 AI Agent？
大模型/AI Agent 将取代 操作系统/APP？
佐思汽研认可这样的观点：AI 大模型即 OS，AI Agent（智能体）即应用。智能化产品的开发范式将从传统的 OS-APP 生态系统范式转变为 AI 大模型-AI Agent 生态系统范式。
来源：互联网
什么是 AI Agent？AI Agent 是一种超越简单文本生成的人工智能系统。它使用大型语言模型（LLM）作为其核心计算引擎，使其能够进行对话、执行任务、推理并展现一定程度的自主性。简而言之，Agent 是一个具有复杂推理能力、记忆和执行任务手段的系统。可见，蔚来汽车座舱里的 NOMI GPT，特斯拉 FSD V12 就分别是座舱域和智驾域的 AI Agent。
来源：知乎
AI 大模型是平台级 AI，包括一线科技公司推出的大模型如 ChatGPT，文心一言等。平台级 AI 可以作为技术基础，全面赋能操作系统，被视为下一代操作系统的新内核。传统的操作系统内核主要负责管理和调度系统的硬件资源，如 GPU、内存等，以确保系统的正常运行和高效利用。然而，随着用户需求的日益增长，AI 系统需要解析许多与人相关的个性化体验。
对于个人知识库、人的位置和状态感知、人的习惯爱好等与人相关的个性化因素，传统的操作系统无法进行有效的计算和处理。因此，我们需要一个全新的内核来满足这些需求。平台级 AI 大模型的强大之处在于，它能够管理和处理多种个人因素，帮助操作系统精准识别用户的意图。有了这样的能力，全新的操作系统就能为所有人带来'猜你所想，懂你所需'的智慧体验。
在汽车座舱应用中，要做到真正的千人千面，还需要车企根据自家车型和服务的特点，对 AI 大模型做进一步的定制，也就是基于平台级 AI 大模型基础上的 AI Agent。我们可以看到，吉利车型（譬如极越、银河）基于百度文心一言推出的座舱系统，奔驰接入 ChatGPT 后的车载语音助手，实际上都是一种 AI Agent。
目前，智驾 AI Agent 和座舱 AI Agent 是分离的，未来随着舱驾融合的发展，智驾 AI Agent 和座舱 AI Agent 也将走向融合。但是，主机厂和 Tier1 现在考虑舱驾融合，就不能只考虑硬件层面的融合，还需要考虑操作系统和整车系统架构层面，特别是要考虑大模型/AI Agent 模式的快速演进。
大模型/AI Agent 目前是操作系统/APP 生态的一部分，未来会取代操作系统/APP 模式吗？我们认为是有可能的。
基于大模型的 Agent 不仅可以让每个人都有增强能力的专属智能助理，还将改变人机协同的模式，带来更为广泛的人机融合。人类与 AI 协同有三种模式：嵌入（embedding）模式，副驾驶（Copilot）模式，智能体（Agent）模式。
来源：知乎
在智能驾驶中，嵌入（embedding）模式相当于 L1-L2 级自动驾驶，副驾驶（Copilot）模式相当于 L2.5 和高速 NOA，智能体（Agent）模式相当于城市 NOA 和 L3 级自动驾驶。
在智能体（Agent）模式下，人类设定目标和提供必要的资源（例如计算能力），然后 AI 独立地承担大部分工作，最后人类监督进程以及评估最终结果。这种模式下，AI 充分体现了智能体的互动性、自主性和适应性特征，接近于独立的行动者，而人类则更多地扮演监督者和评估者的角色。
在 AI 智能体（Agent）模式下，原来通过车机 APP 实现的大量交互操作，现在通过自然形态交互（语音，手势等）就能实现目标。甚至 AI Agent 主动观察车内外情况，提出需求问询，经过车主确认后即可执行某项任务。
因此，AI Agent 的发展必然让以前的大量 APP 变得没有必要，必将给智能座舱和智能驾驶的开发及应用，带来颠覆性影响。
当前的 AI 大模型并不是操作系统，而是一种人工智能模型的范式和架构，关注如何让机器具备处理多种模态数据 (如文本、图像、视频等) 的能力。AI Agent 更类似于一种人工智能应用或应用层，需要底层操作系统和硬件的支持才能运行，本身不负责计算机系统的基本管理和资源调度。未来 AI 大模型很可能和 OS 结合，成为 AIOS。
AI 大模型和 AI Agent 的发展对未来操作系统的影响包括：
- 小 APP 程序将会消失或者演变成调用大模型的 AI 智能体形态；
- OS 体系可能演变成大模型 + 计算芯片的核心集群 OS 架构；
- AI 大模型作为平台重新定义和赋能各类行业应用场景，催生更多以人机交互为核心的原生应用，包括自动驾驶车辆、机器人和数字孪生应用等。
报告核心内容概览
该研究报告共 160 页，深入探讨了以下关键领域：
1. AI 大模型应用现状与未来趋势
- 多模态大模型演进： 分析了通用架构和演进趋势，特别是 VLM（视觉语言模型）对 3D 道路场景理解的影响。
- Sora 与自动驾驶： 探讨了 Sora 文本生成视频大模型对自动驾驶 AD 基础大模型（世界模型）的推动预测，对比了算力需求及社会价值。
- 行业痛点： 分析了智能汽车行业 AI 大模型的现存问题及解决思路，包括 AI 计算芯片设计的痛点和应对措施。
2. AI 大模型对汽车硬件层的影响
- 芯片设计变革： 探讨了 LLM 大模型对智能汽车 SoC 设计范式的变革，以及 NVIDIA 自动驾驶 DRIVE 系列芯片的适配情况。
- 传感器与感知： 分析了大模型驱动的感知能力融合与共享的演进趋势。
3. AI 大模型对汽车 SOA 架构/操作系统的影响
- EE 架构进化： 讨论了 AI 大模型对算力需求的增加如何推动 EE 架构向 3.0 版本演进。
- SOA 发展方向： 从大模型 Agent 技术视角看 SOA 的发展方向。
- OS 设计影响： 详细阐述了 AI 大模型如何影响操作系统的内核设计、资源调度及个性化服务支持。
4. AI 大模型对汽车数据闭环/仿真系统的影响
- 数据闭环： 介绍了数据驱动的自动驾驶系统，以及华为盘古大模型、商汤数据闭环方案等在其中的应用。
- 仿真系统： 探讨了自动驾驶视觉大基础模型 VFM、生成式世界模型 GAIA-1 系统架构对仿真测试的革新。
5. AI 大模型对自动驾驶和智能座舱的影响
- 自动驾驶： 分析了自动驾驶 AD 基础大模型的应用场景、局限性及多模态大模型智驾应用。
- 座舱域控： 探讨了多模态基础大模型对交互设计的影响，包括数据分析决策与自主学习提供的个性化服务。
6. AI AGENT 与汽车
- 发展趋势： 展望了 AI AGENT 在智能汽车中的应用趋势及具体案例。
开发者应对策略
面对 AI 大模型带来的颠覆性影响，技术人员和企业在开发过程中应关注以下几点：
- 架构升级： 在电子电气架构设计中预留 AI 边缘侧和 AI 服务层接口，适应大模型对算力的动态需求。
- 技能转型： 从传统的 APP 开发思维转向 Prompt Engineering、LangChain 框架及模型微调（Fine-tuning）能力的培养。
- 数据治理： 建立高质量的数据闭环，确保用于训练和推理的数据能够覆盖长尾场景，提升模型泛化能力。
- 人机协作： 重新定义人机交互界面，从点击式操作转向自然语言和多模态交互，充分利用 Agent 的自主性。
随着技术的成熟，AI 大模型将成为智能汽车的核心驱动力，重塑整个行业的价值链。
