ERNIE-4.5 模型系列解析：架构创新与多场景性能测评

三大分支技术特性与场景定位

文心大模型 4.5 开源系列覆盖 A47B、A3B、0.3B 三大分支，从超大规模多模态到轻量级文本模型梯度分布，适配不同场景需求

模型对比总览

Base 版与进阶版

在文心大模型 4.5 的 A47B、A3B、0.3B 三大分支中，每个分支下均包含"Base 版"与"进阶版"（非 Base 版），其细分逻辑围绕功能定位、训练策略与适用场景的差异化展开，核心是为不同需求的用户提供"基础通用"与"增强定制"的梯度选择。

模型版本对比总览

详细对比分析

A47B 分支（超大规模多模态）

A3B 分支（轻量多模态与高效文本）

0.3B 分支（极致轻量化文本）

细分逻辑的核心价值

1. 降低使用门槛

2. 平衡效率与成本

3. 适配多样化部署

部署及测试

测评方法与标准

本次实战主要围绕百度的三款 ERNIE-4.5 系列模型进行测评对比：

• ERNIE-4.5-0.3B-Paddle（小型模型）
• ERNIE-4.5-21B-A3B-Paddle（中型模型）
• ERNIE-4.5-VL-28B-A3B-Paddle（多模态大模型）

对比测试的模型分别是：

• DeepSeek-R1-Distill-Qwen-1.5B[6]（小型模型）
• DeepSeek-R1-Distill-Qwen-32B[6]（大型模型）
• Qwen2.5-VL-32B-Instruct[7]（多模态大模型）

通过这些不同规模和类型的模型对比，我们将全面评估 ERNIE-4.5 系列在各种场景下的性能表现。

测评维度

本次测评采用多维度评估方法，全面衡量模型性能：

测评任务类型

为确保评测全面性，我们选择了覆盖多种应用场景的任务类型：

文本类任务 (17 种)

视觉类任务 (3 种)

评分标准

本测评采用 0-10 分的评分制度：

模型部署测试

本章案例是通过 FastDeploy 快速完成服务部署，点击链接快速访问 FastDeploy 2.0：大型语言模型部署 的文档

FastDeploy 硬件环境依赖要求

FastDeploy 支持在多种硬件平台上进行推理部署，包括 NVIDIA GPU、Kunlunxin XPU、Iluvatar GPU 和 Enflame GCU 等。以下是各平台的具体环境依赖要求：

NVIDIA GPU 环境依赖要求

Kunlunxin XPU 环境依赖要求

Iluvatar GPU 环境依赖要求

Enflame GCU 环境依赖要求

需要准备一台配备 登临科技 Enflame S60 加速卡 的机器

镜像选择

本次我们主要依赖 NVIDIA GPU 环境来进行模型的运行与部署 如下图所示我们购买一台 A100-80G显存服务器来进行模型的部署，详细信息如下：

显存服务器购买完成之后我们接下来就可以对该环境进行相关的依赖安装了 这里主要参考 FastDeploy 文档来完成快速部署，

注意：我们采用的是方案 2 来完成的，不同显卡根据文档来进行区分安装

1. 预构建的 Pip 安装

python -m pip install paddlepaddle-gpu==3.1.0 -i https://www.paddlepaddle.org.cn/packages/stable/cu126/

该命令安装过程中请查看下文中 [三次报错解决方案] 中的第一次报错解决方案

2. 安装 fastdeploy

SM80/90 架构 GPU(例如 A30/A100/H100）

python -m pip install fastdeploy-gpu -i https://www.paddlepaddle.org.cn/packages/stable/fastdeploy-gpu-80_90/ --extra-index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

SM86/89 架构 GPU（例如 A10/4090/L20/L40）

python -m pip install fastdeploy-gpu -i https://www.paddlepaddle.org.cn/packages/stable/fastdeploy-gpu-86_89/ --extra-index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

上述指令安装完成之后就可以运行 ERNIE 4.5 系列的模型了，找到对应的模型点击进去，如下图

执行改指令的过程中可以查看 [三次报错解决方案] 下的第二次报错以及第三次报错的解决方案，全部问题全部解决后再次运行该命令即可， 运行成功效果图

注意运行起来之后查看端口，开启对应端口的防火墙，就可以本地就行访问了

三次报错解决方案

第一次报错

在 预构建的 Pip 安装 时会报错版本兼容的问题，如下图：

第二次报错 第一次运行模型指令时会报该错，如下图

解决方案：安装 libgomp.so.1

# 更新包列表
apt-get update
# 安装 libgomp1（包含 libgomp.so.1）
apt-get install -y libgomp1

第三次报错 第二次运行模型指令时会报该错，如下图

解决方案：

# 查看当前主机名
hostname=$(hostname)
# 将主机名添加到 /etc/hosts
echo "127.0.0.1 $hostname" >> /etc/hosts

文本类模型测试脚本

ERNIE-4.5 文本类测试 py 脚本如下

import requests
import time
import json

# 模型 API 配置
API_URL = "http://0.0.0.0:8180/v1/chat/completions"
# 根据实际情况调整路径
MODEL_NAME = "ernie-4.5-0.3b-paddle"
# 模型名称，可从配置文件或 API 获取

# 用户输入
prompt = "下雨了出门需要带什么"

# 准备请求数据
request_data = {
    "model": MODEL_NAME,
    "messages": [{"role": "user", "content": prompt}],
    "temperature": 0.7,  # 控制生成的随机性，0.0 表示确定性，1.0 表示最大随机性
    "max_tokens": 512  # 最大生成长度
}

# 记录开始时间
start_time = time.time()

# 发送请求
try:
    response = requests.post(API_URL, headers={"Content-Type": "application/json"}, data=json.dumps(request_data))
    response.raise_for_status()  # 检查请求是否成功
    response_data = response.json()
except requests.exceptions.RequestException as e:
    print(f"请求失败：{e}")
    if response.status_code:
        print(f"状态码：{response.status_code}")
        print(f"响应内容：{response.text}")
    exit(1)

# 记录结束时间并计算响应时间
end_time = time.time()
response_time = end_time - start_time

# 提取生成的文本
try:
    generated_text = response_data["choices"][0]["message"]["content"]
    prompt_tokens = response_data["usage"]["prompt_tokens"]
    completion_tokens = response_data["usage"]["completion_tokens"]
    total_tokens = response_data["usage"]["total_tokens"]
except (KeyError, IndexError) as e:
    print(f"解析响应失败：{e}")
    print(f"响应内容：{response_data}")
    exit(1)

# 输出结果和统计信息
print(f"使用模型：{MODEL_NAME}")
print("\n===== 生成结果 =====")
print(generated_text)
print("\n===== 性能统计 =====")
print(f"响应时间：{response_time:.2f} 秒")
print(f"提示 Token 数量：{prompt_tokens}")
print(f"生成 Token 数量：{completion_tokens}")
print(f"总 Token 数量：{total_tokens}")
print(f"Token 生成速度：{completion_tokens/response_time:.2f} tokens/秒")

DeepSeek-R1-Distill-Qwen 文本类测试 py 脚本如下

import time
from openai import OpenAI

# 初始化 OpenAI 客户端
client = OpenAI(
    api_key='YOUR_API_KEY',
    base_url="http://0.0.0.0:8000/v1"
)

# 获取可用模型
model_name = client.models.list().data[0].id

# 获取用户输入
user_input = ""

# 记录开始时间
start_time = time.time()

# 发送请求
response = client.chat.completions.create(
    model=model_name,
    messages=[{"role": "user", "content": user_input}],
    temperature=1,
)

# 计算响应时间
response_time = time.time() - start_time

# 输出结果和统计信息
print("\n===== 生成结果 =====")
print(response.choices[0].message.content)
print("\n===== 性能统计 =====")
print(f"响应时间：{response_time:.2f} 秒")
print(f"提示 Token 数量：{response.usage.prompt_tokens}")
print(f"生成 Token 数量：{response.usage.completion_tokens}")
print(f"总 Token 数量：{response.usage.total_tokens}")
print(f"Token 生成速度：{response.usage.completion_tokens/response_time:.2f} tokens/秒")

聚焦小参数模型的效率与基础性能表现

轻量级模型对决：ERNIE-4.5-0.3B-Paddle vs DeepSeek-R1-Distill-Qwen-1.5B

启动 ERNIE-4.5-0.3B-Paddle 模型

python -m fastdeploy.entrypoints.openai.api_server \
  --model baidu/ERNIE-4.5-0.3B-Paddle \
  --port 8180 \
  --metrics-port 8181 \
  --engine-worker-queue-port 8182 \
  --max-model-len 32768 \
  --max-num-seqs 32

启动 DeepSeek-R1-Distill-Qwen-1.5B 模型

vllm serve /model/HuggingFace/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B --port 8000

小参数模型测评数据可视化

侧重中等参数量级下的综合能力较量

中大规模模型比拼：ERNIE-4.5-21B-A3B-Paddle vs DeepSeek-R1-Distill-Qwen-32B 启动 ERNIE-4.5-21B-A3B-Paddle 模型

python -m fastdeploy.entrypoints.openai.api_server \
  --model baidu/ERNIE-4.5-21B-A3B-Paddle \
  --port 8180 \
  --metrics-port 8181 \
  --engine-worker-queue-port 8182 \
  --max-model-len 32768 \
  --max-num-seqs 32

启动 DeepSeek-R1-Distill-Qwen-32B 模型

vllm serve /model/HuggingFace/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --port 8000 -tp 4 --max-model-len 65168

中等参数模型测评数据可视化

视觉类模型测试脚本

ERNIE-4.5-VL-28B-A3B-Paddle 脚本如下

import requests
import time
import json
import base64
import os

# ==================== 用户配置区域 ====================
API_URL = "http://localhost:8180/v1/chat/completions"  # API 地址
MODEL_NAME = "baidu/ERNIE-4.5-VL-28B-A3B-Paddle"  # 模型名称

# 图片路径配置（修改为你的图片路径）
IMAGE1_PATH = "./image/图片中太阳在东边.png"  # 第一张图片路径（必填）
IMAGE2_PATH = ""  # 第二张图片路径（选填，留空则只处理第一张，例如：IMAGE2_PATH = ""）

# 提示词配置（留空则根据图片数量自动生成）
USER_PROMPT = "判断'图片中太阳在东边'是否正确"

# 模型参数配置
TEMPERATURE = 0.7  # 生成温度（0.0-1.0）
MAX_TOKENS = 1024  # 最大生成长度
ENABLE_THINKING = True  # 是否启用思考过程

# ====================================================
def encode_image_to_base64(image_path):
    """将本地图片编码为 Base64 格式"""
    if not image_path:
        return None
    if not os.path.exists(image_path):
        raise FileNotFoundError(f"图片文件不存在：{image_path}")
    with open(image_path, "rb") as image_file:
        encoded_string = base64.b64encode(image_file.read()).decode('utf-8')
    return encoded_string

def main():
    # 初始化提示词（避免未赋值引用）
    user_prompt = USER_PROMPT
    # 先用全局配置初始化
    image_contents = []
    try:
        # 添加第一张图片
        image1_base64 = encode_image_to_base64(IMAGE1_PATH)
        image_contents.append({"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{image1_base64}"}})
        # 检查是否有第二张图片
        has_second_image = False
        if IMAGE2_PATH and os.path.exists(IMAGE2_PATH):
            has_second_image = True
            # 添加第二张图片
            image2_base64 = encode_image_to_base64(IMAGE2_PATH)
            image_contents.append({"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{image2_base64}"}})
        # 自动生成提示词（如果用户未填写）
        if not user_prompt.strip():
            if has_second_image:
                user_prompt = "对比分析这两张图片的异同点"
            else:
                user_prompt = "详细描述这张图片的内容"
        # 添加用户提示词到请求内容
        image_contents.append({"type": "text", "text": user_prompt})
    except Exception as e:
        print(f"图片处理错误：{e}")
        return
    # 准备请求数据
    request_data = {
        "model": MODEL_NAME,
        "messages": [{"role": "user", "content": image_contents}],
        "temperature": TEMPERATURE,
        "max_tokens": MAX_TOKENS,
        "metadata": {"enable_thinking": ENABLE_THINKING}
    }
    # 记录开始时间
    start_time = time.time()
    # 发送请求
    try:
        response = requests.post(API_URL, headers={"Content-Type": "application/json"}, data=json.dumps(request_data))
        response.raise_for_status()  # 检查请求是否成功
        response_data = response.json()
    except requests.exceptions.RequestException as e:
        print(f"请求失败：{e}")
        if 'response' in locals() and response.status_code:
            print(f"状态码：{response.status_code}")
            print(f"响应内容：{response.text}")
        return
    # 记录结束时间并计算响应时间
    end_time = time.time()
    response_time = end_time - start_time
    # 提取生成的文本
    try:
        generated_text = response_data["choices"][0]["message"]["content"]
        prompt_tokens = response_data["usage"]["prompt_tokens"]
        completion_tokens = response_data["usage"]["completion_tokens"]
        total_tokens = response_data["usage"]["total_tokens"]
    except (KeyError, IndexError) as e:
        print(f"解析响应失败：{e}")
        print(f"响应内容：{response_data}")
        return
    # 输出结果和统计信息
    print(f"使用模型：{MODEL_NAME}")
    print("\n===== 生成结果 =====")
    print(generated_text)
    print("\n===== 性能统计 =====")
    print(f"响应时间：{response_time:.2f} 秒")
    print(f"提示 Token 数量：{prompt_tokens}")
    print(f"生成 Token 数量：{completion_tokens}")
    print(f"总 Token 数量：{total_tokens}")
    print(f"Token 生成速度：{completion_tokens/response_time:.2f} tokens/秒")

if __name__ == "__main__":
    main()

Qwen2.5-VL-32B-Instruct 脚本如下

from openai import OpenAI
import base64
import time
import os

# ==================== 用户配置区域 ====================
openai_api_key = "EMPTY"
openai_api_base = "http://localhost:8000/v1"
model_name = "/model/ModelScope/Qwen/Qwen2.5-VL-32B-Instruct"  # 图片路径配置（修改为你的图片路径）
IMAGE1_PATH = "./image/是否为艾菲尔.jpeg"  # 第一张图片路径（必填）
IMAGE2_PATH = ""  # 第二张图片路径（选填，留空则只处理第一张）

# 自定义提示词（留空则根据图片数量自动生成）
USER_PROMPT = "图片中的艾菲尔铁塔拍摄于白天，是否正确？"

# 模型参数配置
TEMPERATURE = 0.7  # 生成温度（0.0-1.0）
MAX_TOKENS = 2048  # 最大生成长度

# ====================================================
client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

def encode_image(image_path):
    """将图片编码为 Base64 格式"""
    with open(image_path, "rb") as image_file:
        return base64.b64encode(image_file.read()).decode('utf-8')

def main():
    # 准备图片内容
    content = []
    # 添加第一张图片
    content.append({"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{encode_image(IMAGE1_PATH)}"}})
    # 如果有第二张图片，添加第二张
    has_two_images = bool(IMAGE2_PATH and os.path.exists(IMAGE2_PATH))
    if has_two_images:
        content.append({"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{encode_image(IMAGE2_PATH)}"}})
    # 自动生成提示词（如果用户未指定）
    user_prompt = USER_PROMPT
    if not user_prompt:
        if has_two_images:
            user_prompt = "对比分析这两张图片的异同点"
        else:
            user_prompt = "详细描述这张图片的内容"
    # 添加文本提示
    content.append({"type": "text", "text": user_prompt})
    # 记录开始时间
    start_time = time.time()
    # 发送请求
    response = client.chat.completions.create(
        model=model_name,
        messages=[{"role": "user", "content": content}],
        temperature=TEMPERATURE,
        max_tokens=MAX_TOKENS
    )
    # 记录结束时间并计算响应时间
    end_time = time.time()
    response_time = end_time - start_time
    # 提取结果
    generated_text = response.choices[0].message.content
    prompt_tokens = response.usage.prompt_tokens
    completion_tokens = response.usage.completion_tokens
    total_tokens = response.usage.total_tokens
    # 输出结果
    print(f"使用模型：{model_name}")
    print("\n===== 生成结果 =====")
    print(generated_text)
    print("\n===== 性能统计 =====")
    print(f"响应时间：{response_time:.2f} 秒")
    print(f"提示 Token 数量：{prompt_tokens}")
    print(f"生成 Token 数量：{completion_tokens}")
    print(f"总 Token 数量：{total_tokens}")
    print(f"Token 生成速度：{completion_tokens/response_time:.2f} tokens/秒")

if __name__ == "__main__":
    main()

专注跨模态任务处理能力的深度对比

视觉语言模型交锋：ERNIE-4.5-VL-28B-A3B-Paddle vs Qwen2.5-VL-32B-Instruct

启用 ERNIE-4.5-VL-28B-A3B-Paddle 模型

python -m fastdeploy.entrypoints.openai.api_server \
  --model baidu/ERNIE-4.5-VL-28B-A3B-Paddle \
  --port 8180 \
  --metrics-port 8181 \
  --engine-worker-queue-port 8182 \
  --max-model-len 32768 \
  --enable-mm \
  --reasoning-parser ernie-45-vl \
  --max-num-seqs 32

启用 Qwen2.5-VL-32B-Instruct 模型

vllm serve /model/ModelScope/Qwen/Qwen2.5-VL-32B-Instruct --port 8000 -tp 4 --max-model-len=20480 --gpu-memory-utilization 0.85 --allowed-local-media-path /root --mm_processor_kwargs '{"max_pixels": 589824,"min_pixels": 3136}'

跨模态任务模型测评数据可视化

模型速度与性能综合分析

1. 小型模型综合对比分析

在小型模型的对比中，DeepSeek-R1-Distill-Qwen-1.5B 和 ERNIE-4.5-0.3B-Paddle 展现出明显的速度差异：

生成速度对比

┌─────────────────────────────────────────────────────┐
│ DeepSeek-R1-Distill-Qwen-1.5B                       │
│ ████████████████████│ ~194 tokens/秒
├─────────────────────────────────────────────────────┤
│ ERNIE-4.5-0.3B-Paddle                               │
│ ██████████░░░░░░░░░░│ ~112 tokens/秒
└─────────────────────────────────────────────────────┘

速度差异分析：

• DeepSeek 模型生成速度约为 ERNIE-4.5 小型模型的1.7 倍
• 尽管参数量更大，DeepSeek 模型在推理效率上具有明显优势
• ERNIE-4.5 模型虽速度较慢，但其参数量仅为 DeepSeek 的 1/5

评分分布特征

评分分布 (1-10 分)
DeepSeek-R1-Distill-Qwen-1.5B
1 分 ██████ (6 项)
2 分 ████ (4 项)
3 分 ██ (2 项)
4 分 ██ (2 项)
5 分 ██ (2 项)
6 分 █ (1 项)
7 分+ █ (1 项)

ERNIE-4.5-0.3B-Paddle
1-4 分
5 分 █ (1 项)
6 分 ███ (3 项)
7 分 ████ (4 项)
8 分 ████ (4 项)
9 分 ██ (2 项)

分布特点：

• DeepSeek 模型评分呈左偏分布，大多集中在低分区间
• ERNIE-4.5 模型评分呈右偏分布，大多集中在高分区间
• DeepSeek 在 10 项任务上得分≤3 分，而 ERNIE-4.5 在所有任务上得分≥5 分

性能亮点分析

ERNIE-4.5-0.3B 优势任务

1. 机器翻译 (+6.7 分)
   • 评分：7.7 分 vs 1.0 分
   • 优势显著，尽管参数量更小
2. 序列标记 (+6.6 分)
   • 评分：8.3 分 vs 1.7 分
   • 在标记任务上表现卓越
3. 文本分类 (+4.6 分)
   • 评分：8.3 分 vs 3.7 分
   • 分类准确度明显更高
4. 条件生成 (+4.6 分)
   • 评分：6.3 分 vs 1.7 分
   • 生成质量大幅领先

DeepSeek-1.5B 相对强项

1. 问题回答
   • 评分：8.5 分 (最高分项)
   • 与 ERNIE 差距最小 (仅 0.5 分)
2. 符号推理
   • 评分：5.3 分
   • 在复杂推理上有一定能力
3. 事实探测
   • 评分：5.0 分
   • 在事实判断上表现尚可
4. 语义解析
   • 评分：5.3 分
   • 解析能力相对较好

各任务类型评分对比

分析要点：

• DeepSeek 模型在速度上有明显优势，平均生成速度约为 ERNIE-4.5 小型模型的 1.7 倍
• 然而，从评分数据来看，ERNIE-4.5-0.3B 在多数任务类型上获得了更高的评分，特别是在以下任务中表现突出：
  • 数学推理 (MR)：平均评分 6.7 vs 2.7
  • 序列标记 (TAG)：平均评分 8.3 vs 1.7
  • 文本分类 (TC)：平均评分 8.3 vs 3.7
• 这表明 ERNIE-4.5-0.3B 虽然参数量更小、速度较慢，但在实际应用质量上具有明显优势，挑战了"更大即更好"的传统认知

2. 中型模型综合对比分析

核心发现：ERNIE-21B（21B 参数）在多项任务中全面超越 DeepSeek-32B（32B 参数），不仅以更少参数实现更高性能（打破"规模至上"认知），更在生成速度与输出质量上实现双突破；其卓越的任务泛化能力（尤其在机器翻译等薄弱环节显著优于对手）揭示了预训练策略的关键作用，同时证明了 21B-32B 参数规模在性能与实用性上的最佳平衡，为高效 AI 部署提供了新范式。

热力图揭示的关键信息：

• 颜色梯度：深蓝色代表高分（8-10 分），浅蓝色代表中低分（4-7 分），最浅色代表低分（1-3 分）
• 模式识别：ERNIE-21B 模型在热力图上呈现出大面积的深色区域，表明其在大多数任务上都获得了高分
• 对比鲜明：DeepSeek-32B 模型的热力图呈现出明显的色彩不均，少数深色区域与大量浅色区域并存

典型任务表现对比：

热力图模式解读：

• ERNIE-21B 的热力图呈现出高度一致的深色区域，表明其在各类任务上都保持了高水平表现
• DeepSeek-32B 的热力图呈现出明显的"热冷不均"，在 QA 和 SEMP 等任务上表现较好，但在机器翻译等任务上表现极差

速度数据详解：

• DeepSeek-R1-Distill-Qwen-32B：平均 ~43.8 tokens/秒
• ERNIE-4.5-21B-A3B-Paddle：平均 ~59.8 tokens/秒

速度差异的实际影响分析：

1. 用户体验影响：
   • 对于生成 2000 个 token 的长文本：
     • DeepSeek-32B：约 45.7 秒
     • ERNIE-21B：约 33.4 秒
   • 差距约 12.3 秒，在生成长文本时用户等待时间差异明显
2. 系统吞吐量影响：
   • 在相同硬件条件下，ERNIE-21B 的服务吞吐量理论上可以比 DeepSeek-32B 高 37%
   • 这对于需要处理大量并发请求的商业服务来说是显著优势
3. 计算资源效率：
   • ERNIE-21B 不仅参数量较小（21B vs 32B），而且推理速度更快
   • 这意味着在相同硬件条件下，ERNIE-21B 能够提供更高的性能/成本比

速度与参数量的反比关系：

• 通常情况下，参数量更大的模型推理速度更慢，但 ERNIE-21B 打破了这一规律
• 这表明模型架构设计、参数分布和计算优化可能比简单的参数规模更重要
• ERNIE-21B 可能采用了更高效的注意力机制或更优化的计算图结构

核心发现：

• ERNIE-4.5-21B-A3B-Paddle（绿色区域）在所有任务类型上形成了更大、更均匀的覆盖面积，表明其全面优势
• DeepSeek-R1-Distill-Qwen-32B（蓝色区域）在 QA（问题回答）和 SEMP（语义解析）等少数任务上表现较好，但整体覆盖面积明显小于 ERNIE 模型
• 最大性能差距出现在机器翻译、TAG（序列标记）和 EVALG（文本生成评估）任务上
• 最小性能差距出现在 QA（问题回答）任务上，两个模型在此领域表现接近

任务表现量化对比：

箱线图统计解读：

1. 中位数对比：
   • DeepSeek-R1-Distill-Qwen-32B：中位数约为 6.3 分
   • ERNIE-4.5-21B-A3B-Paddle：中位数约为 9.0 分
   • 差距达 2.7 分，表明 ERNIE 模型在大多数任务上都表现更优
2. 四分位距（IQR）分析：
   • DeepSeek-32B：IQR 较大（约 2.5 分），表明性能波动较大
   • ERNIE-21B：IQR 较小（约 1.0 分），表明性能更加稳定一致
3. 极值分析：
   • DeepSeek-32B：最低分 2.3 分（机器翻译），最高分 8.5 分（QA 问答）
   • ERNIE-21B：最低分 8.5 分（多个任务），最高分 10.0 分（多个任务）
   • 极值差异凸显了两个模型在任务适应性上的巨大差距
4. 离群值观察：
   • DeepSeek-32B 在机器翻译任务上的表现（2.3 分）可视为离群值，明显低于其他任务
   • ERNIE-21B 没有明显的离群值，表现稳定

分布特征总结：

• ERNIE-21B 的评分分布集中在高分区间（8-10 分），且分布紧凑，表明其在各类任务上都保持高水平
• DeepSeek-32B 的评分分布较为分散（2-8 分），表明其在不同任务上的表现差异较大
• 两个模型的箱线图几乎没有重叠区域，凸显了 ERNIE-21B 的全面优势

3. 多模态模型综合对比分析

关键数据：

• Qwen2.5-VL-32B-Instruct：约 53.9 tokens/秒
• ERNIE-4.5-VL-28B-A3B-Paddle：约 26.9 tokens/秒
• 速度比：Qwen2.5-VL 模型速度约为 ERNIE-4.5-VL 模型的 2 倍

速度差异原因分析：

1. 架构优化程度：
   • Qwen2.5-VL 模型可能采用了更高效的多模态融合架构
   • ERNIE-4.5-VL 模型在处理视觉和文本信息的融合上可能存在效率瓶颈
2. 推理优化水平：
   • Qwen2.5-VL 在推理引擎优化上可能投入了更多工程资源
   • 两个模型的部署环境和优化配置可能存在差异
3. 参数利用效率：
   • 尽管 Qwen2.5-VL 参数量略大 (32B vs 28B)，但其推理速度更快，表明其可能有更高效的参数利用方式
   • 这表明参数量并不是决定推理速度的唯一因素

核心发现：

• ERNIE-4.5-VL-28B-A3B-Paddle（蓝色区域）在三个多模态任务上形成了更大的覆盖面积，表明其整体性能全面领先
• Qwen2.5-VL-32B-Instruct（绿色区域）在所有任务上覆盖面积较小，特别是在多模态接地 (MG) 任务上表现较弱
• 最大差距出现在多模态接地 (MG) 和视觉问题回答 (VQA) 任务上
• 最小差距出现在视觉事实探测 (VFP) 任务上，两个模型差距相对较小

任务表现对比：

箱线图揭示的关键信息：

1. 中位数差异：
   • ERNIE-4.5-VL-28B-A3B-Paddle：中位数约为 9.0 分
   • Qwen2.5-VL-32B-Instruct：中位数约为 5.0 分
   • 差距显著，达 4 分之多
2. 分布范围：
   • ERNIE-4.5-VL 模型：评分范围约为 8-10 分，集中在高分区间
   • Qwen2.5-VL 模型：评分范围约为 0-8 分，分布更加分散
3. 四分位差：
   • ERNIE-4.5-VL 模型：四分位差较小，表明在各类任务上表现稳定
   • Qwen2.5-VL 模型：四分位差较大，表明在不同任务上表现波动较大
4. 异常值：
   • Qwen2.5-VL 模型存在评分为 0 的异常值，表明在某些测试样例上可能完全失效

分布特征总结：

• ERNIE-4.5-VL 模型的评分分布明显高于 Qwen2.5-VL 模型，且更加集中在高分区间
• Qwen2.5-VL 模型的评分分布更加分散，表明其在不同任务和样例上的表现差异较大
• ERNIE-4.5-VL 模型展现出更好的通用多模态能力，在各类任务上都能保持高水平

热力图揭示：

• 颜色深浅代表评分高低，越深色表示评分越高
• 纵向对比显示 ERNIE-4.5-VL 模型在所有多模态任务上都获得了更高的评分
• 横向对比显示不同任务类型的难度差异和模型特长
• 评分集中度表明 ERNIE-4.5-VL 在各任务上表现更加稳定一致

模型在关键任务上的表现：

热力图模式：

• ERNIE-4.5-VL 的评分热力图呈现出均匀的高分布局，表明其在各类多模态任务上都有出色表现
• Qwen2.5-VL 的热力图呈现出不均匀分布，在视觉事实探测 (VFP) 上表现相对较好，但在多模态接地 (MG) 和视觉问题回答 (VQA) 任务上表现欠佳
• 两个模型的性能差距在多模态接地 (MG) 任务上最为显著，达到 5.0 分

测评结论

通过对 ERNIE-4.5 系列模型与 DeepSeek 和 Qwen 系列模型的全面对比测评，我们得出以下关键结论：

1. ERNIE-4.5 系列模型的核心优势

参数效率优势

• 小型模型：ERNIE-4.5-0.3B 仅有 0.3B 参数，但在多数任务上的表现超过了参数量为 1.5B 的 DeepSeek 模型，参数效率提升约 5 倍
• 中型模型：ERNIE-4.5-21B-A3B 通过 MoE 架构，仅激活 3B 参数，但性能全面超越 32B 参数的 DeepSeek 模型，参数效率提升约 10 倍
• 多模态模型：ERNIE-4.5-VL-28B-A3B 同样采用 MoE 架构，在激活参数量更少的情况下，性能和速度均优于 Qwen2.5-VL-32B 模型

速度与性能平衡

• 中型模型速度优势：ERNIE-4.5-21B-A3B 的 Token 生成速度 (约 59.7 tokens/秒) 比 DeepSeek-32B 模型 (约 43.8 tokens/秒) 快约 36%
• 多模态模型速度优势：ERNIE-4.5-VL-28B-A3B 的 Token 生成速度 (约 53.9 tokens/秒) 比 Qwen2.5-VL-32B 模型 (约 30.1 tokens/秒) 快约 79%
• 小型模型质量优势：虽然 ERNIE-4.5-0.3B 在速度上不及 DeepSeek-1.5B 模型，但其输出质量明显更高，平均评分 7.2 vs 4.8

任务适应性

• 全面的任务覆盖：ERNIE-4.5 系列模型在所有测试的 20 种任务类型上均表现出色，没有明显的短板
• 推理任务优势：在数学推理、符号推理等高难度推理任务上，ERNIE-4.5 系列模型表现尤为突出
• 多模态理解：在视觉问题回答任务上，ERNIE-4.5-VL 模型获得了接近满分的 9.7 分，展示了卓越的跨模态理解能力

2. 不同规模模型的应用场景建议

3. 测评局限性与未来展望

虽然本次测评结果显示 ERNIE-4.5 系列模型具有明显优势，但我们也认识到测评存在一定局限性：

• 测试样本数量有限：每种任务类型的测试样本数量有限，可能无法完全反映模型在大规模应用中的表现
• 部署环境差异：不同的硬件环境和优化配置可能导致性能差异，本测评基于特定的 FastDeploy 环境
• 主观评分因素：质量评分包含主观判断，不同评估者可能有不同标准

未来测评可以考虑扩大测试样本规模，增加更多领域特定任务，以及引入更多基准模型进行对比，提供更全面的评估结果。

总的来说，ERNIE-4.5 系列模型通过创新的 MoE 架构设计和精细的参数优化，在保持高性能的同时显著提升了推理效率，为不同应用场景提供了灵活的选择，代表了当前大模型技术的先进水平。

词汇解释

1. 专家模型（MoE）和 Dense 模型 - 博主古月居 GYH 的文章《Dense 与 MoE 系列模型架构的全面对比与应用策略》 ↩︎↩︎
2. NaViT 相关论文 - 一种用于视觉 Transformer 的先进设计方法，ERNIE 4.5 的视觉模块参考了该技术。 ↩︎
3. 2D-RoPE 技术 - 一种二维旋转位置编码技术，用于提升模型对二维空间信息的理解能力。 ↩︎
4. SOTA (State-Of-The-Art) - 文本与多模态基准测试中达到最先进水平，意味着在这些测试场景下，ERNIE 4.5 的性能超越了同期其他模型。在指令遵循方面，它能更精准、高效地理解并执行用户给出的各类指令；在世界知识记忆上，对海量知识的存储和调用更为准确、全面；视觉理解时，无论是对复杂图像内容的解读，还是对视频信息的把握，都领先于同类模型；多模态推理中，面对文本、图像、音频等多种模态信息融合的任务，ERNIE 4.5 也展现出更强大的推理能力和结果输出能力。 ↩︎↩︎
5. 在深度学习中，模型 FLOPs 利用率（Model FLOPs Utilization，简称 MFU）是衡量硬件计算资源（如 GPU、TPU）被模型有效利用程度的关键指标。它反映了模型在实际运行中，对硬件理论最大计算能力的'兑现率'，是评估模型效率、硬件适配性及系统优化效果的核心指标之一。 ↩︎
6. DeepSeek-R1-Distill 系列模型：DeepSeek-R1-Distill 系列模型是 DeepSeek 公司通过知识蒸馏技术开发的推理增强型模型，它将 DeepSeek-R1（6710 亿参数巨型模型）的推理能力迁移到较小参数规模的开源模型上，显著提升了轻量化模型的逻辑推理能力。 ↩︎↩︎
7. Qwen2.5-VL-32B-Instruct：阿里云于 2025 年 3 月 25 日正式开源了更小尺寸的视觉理解模型 Qwen2.5-VL-32B-Instruct，这是其 Qwen2.5-VL 系列的优化版本。该模型凭借 320 亿参数实现了超越前代 720 亿参数模型的性能，成为多模态 AI 部署的'黄金尺寸' ↩︎
8. FastDeploy：FastDeploy 是基于 PaddlePaddle 的大语言模型和视觉语言模型的推理与部署工具包。它提供即用型、开箱即用的部署解决方案，并具备核心加速技术 ↩︎↩︎