ERNIE-4.5-VL-28B-A3B-Paddle 与 DeepSeek-R1 多维度测评分析
背景
人工智能技术迅猛发展,大模型成为推动各行业智能化升级的核心引擎。百度开源的文心 4.5 系列大模型中的 ERNIE-4.5-VL-28B-A3B-Paddle,凭借创新的技术架构与卓越的性能表现,在多模态处理、知识理解等领域展现出强大潜力。本文将通过详细的部署实操、多维度性能对比,深度剖析该模型在实际应用场景中的表现。
ERNIE-4.5-VL-28B-A3B-Paddle 模型介绍
| 关键字 | 值 |
|---|---|
| 模态 | 文本 & 视觉 |
| 训练阶段 | 后训练 |
| 参数量(总/激活) | 28B / 3B |
| 层数 | 28 |
| 头数(Q/KV) | 20 / 4 |
| 文本专家(总/激活) | 64 / 6 |
| 视觉专家(总/激活) | 64 / 6 |
| 共享专家 | 2 |
| 上下文长度 | 131072 |
ERNIE-4.5-VL-28B-A3B 是一个多模态 MoE 聊天模型,总参数量为 28B,每个 Token 激活参数量为 3B。基于 MoE 的 A47B 和 A3B 系列,先进能力源于三大关键技术创新:
✅ 多模态异构 MoE 预训练,通过设计异构 MoE 结构、引入模态隔离路由等,联合训练文本和视觉模态,提升多模态任务性能
✅ 规模效率化基础设施,提出异构混合并行和层次负载均衡策略用于训练,采用多专家并行协作等方法用于推理,基于 PaddlePaddle 实现高性能推理
✅ 模态特定后训练,针对不同需求对预训练模型变体进行特定模态微调,在视觉语言模型微调阶段,聚焦核心能力优化数据构建和训练策略,并使用 RLVR 提升对齐和性能
ERNIE-4.5-VL-28B-A3B-Paddle 部署体验
- 平台准备:在飞桨 AI Studio 模型库中搜索
ERNIE-4.5-VL-28B-A3B-Paddle模型。 - 环境配置:安装
aistudio-sdk库以支持平台相关功能,使用命令行工具下载模型到本地目录。 - 框架安装:指定镜像源安装支持 CUDA 12.6 的 PaddlePaddle 3.1.0 GPU 版本,从清华镜像源补充依赖并安装适配 GPU 的 FastDeploy 推理框架。
- API 调用:通过 OpenAI Python 库调用飞桨平台的自定义 API 接口,配置自定义的 API 密钥和 base_url 指向飞桨的代理服务,创建聊天完成请求,启用流式输出模式实现实时打印模型生成的文本。
- 功能测试:支持图片识别及多轮对话测试。
ERNIE-4.5-VL-28B-A3B-Paddle 对比 DeepSeek-R1
| 对比项目 | ERNIE-4.5-VL-28B-A3B | DeepSeek-R1 |
|---|---|---|
| 模型类型 | 多模态大模型 | 大型语言模型,主打推理功能 |
| 参数量 | 28B | 6710 亿,另有 1.5B 至 70B 的蒸馏版本 |




