文心 ERNIE 4.5 开源模型技术架构与部署评测 | 极客日志

PythonAI算法

文心 ERNIE 4.5 开源模型技术架构与部署评测

综述由AI生成深入解析百度文心 ERNIE 4.5 开源大模型的技术架构，包括多模态异构 MoE、高效训练并行策略及后训练方法。详细介绍了基于 FastDeploy 工具的个人部署流程与环境配置，并通过通识、推理、视觉、代码等多维度基准测试，对比了其与 Qwen、DeepSeek 等同类模型的 performance 表现，验证了其在中文理解与多模态任务上的优势。

BigDataPan发布于 2026/4/6更新于 2026/5/2239 浏览

引言

文心大模型 ERNIE 4.5 已开源，覆盖基础、对话、多模态、思考等多个方向，并将核心训练框架、分布式策略完全开放。在基准测试中，其性能大幅超越 Qwen3、DeepSeek-V3 等模型。本文将从模型架构特性、技术分析、部署难度等方面对文心模型进行全面解析。

图片描述

一、文心大模型 ERNIE 4.5 开源简介

1.1 开源模型版本介绍

文心大模型 ERNIE 4.5 本次开源主要分为 3 类：文本大语言模型、视觉语言模型、和小型密集模型。所有模型都支持 128K 上下文窗口。

对于每个版本的文心模型，官方给出了两种版本：Base 基础版（预训练基础模型）和 PT（Fine-tuned 微调版）。建议部署时选择 PT 模型，不仅因为 PT 模型性能最佳，而且它对人类偏好进行了定向优化，能更好地适配各类下游任务场景。

视觉语言模型方面，文心视觉语言模型的参数达到了 4240 亿，活跃参数达 470 亿，均大于通义千问视觉语言模型的参数规模。

图片描述

1.2 基准测试表现

文心大模型开源在多个文本和多模态数据集上取得了 SOTA 的性能，大幅超越 Qwen3、DeepSeek-V3 等模型。

从测试结果来看，ERNIE-4.5-21B-A3B 后训练模型，参数量仅为 210 亿，比 Qwen3-30B 更小，却在 BBH 和 CMATH 在内的多个数学和推理基准上效果优于 Qwen3-30B-A3B-Base，实现了效果和效率的双向平衡。

图片描述

1.3 全面的工具生态链

文心大模型本次开源全部按照 Apache 2.0 协议开源，这意味着不管是使用它进行学术研究，还是用在商用领域开发产业相关的应用项目，都完全没问题。

为了让开发者体验文心大模型 ERNIE 4.5 的强悍性能，还开源了大模型高效部署套件 FastDeploy，提供了一行代码开箱即用的多硬件部署体验，使用接口兼容 vLLM 和 OpenAI 协议。

在模型量化、对齐、LoRA 精调等方面，百度开源了文心大模型开发套件 ERNIEKit，提供预训练、全参精调（SFT）、直接偏好优化（DPO）、参数高效精调与对齐（SFT-LoRA/DPO-LoRA）、训练感知量化（QAT）和训练后量化（PTQ）等大模型全流程开发支持。

图片描述

模型名称	上下文长度	量化方式	最低部署资源	说明
ERNIE-4.5-0.3B	32K/128K	BF16	1 块 6G/12G 显存 GPU / 2G 内存	-
ERNIE-4.5-21B-A3B-Paddle	32K/128K	WINT8	1 块 48G 显存 GPU / 128G 内存	128K 长度需启用分块预填充
ERNIE-4.5-VL-28B-A3B-Paddle	32K/128K	WINT8	1 块 48G 显存 GPU / 128G 内存	需启用分块预填充
ERNIE-4.5-300B-A47B-Paddle	32K/128K	WINT4	4 块 64G 显存 GPU / 600G 内存	128K 长度
ERNIE-4.5-VL-424B-A47B-Paddle	32K/128K	WINT2	1 块 141G 显存 GPU / 1T 内存	128K 长度需启用分块预填充

依赖项	版本要求
GPU 驱动程序	≥535
CUDA	≥12.3
CUDNN	≥9.5
Python	≥3.10
Linux	X86_64 架构

#更新软件包
apt update 
#安装虚拟环境工具
apt install -y python3-venv

python3 -m venv fastdeploy-env/

source fastdeploy-env/bin/activate

apt update && apt install -y libgomp1 libssl-dev zlib1g-dev

python -m pip install paddlepaddle-gpu==3.1.0 -i https://www.paddlepaddle.org.cn/packages/stable/cu126/

import paddle
paddle.utils.run_check()

# Install stable release
python -m pip install fastdeploy-gpu -i https://www.paddlepaddle.org.cn/packages/stable/fastdeploy-gpu-80_90/ --extra-index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

python -c "import paddle; print(paddle.is_compiled_with_cuda()); print(paddle.device.get_device())"

apt install git

#1. 查看当前主机名
hostname

#2. 编辑 hosts 文件
vim /etc/hosts

curl -i http://0.0.0.0:8180/health

pip install requests

vi test.py

import requests
import json

# 模型服务的 API 端点，需确保模型服务已启动并可通过该地址访问
url = "http://127.0.0.1:8180/v1/chat/completions"
# 请求头，指定发送数据的格式为 JSON
headers = {"Content-Type": "application/json"}
# 初始化对话上下文列表，用于保存用户输入和模型回复的历史
messages = []

# 启动对话循环，持续获取用户输入并与模型交互
while True:
    # 获取用户输入，提示用户输入内容
    user_input = input("你：")
    # 如果用户输入 exit 或 quit（不区分大小写），则退出对话循环
    if user_input.lower() in ['exit', 'quit']:
        break
    # 将用户输入以指定格式添加到对话上下文，role 为 user 表示是用户输入
    messages.append({"role": "user", "content": user_input})
    # 构建请求体数据
    data = {
        # 指定要使用的模型，需与服务端部署的模型匹配
        "model": "baidu/ERNIE-4.5-VL-28B-A3B-PT",
        # 传入对话上下文，包含历史交互信息
        "messages": messages,
        # 温度参数，控制模型输出的随机性，值越大越随机
        "temperature": 0.7
    }
    try:
        # 发送 POST 请求到模型服务，将 data 转为 JSON 字符串传入
        response = requests.post(url, headers=headers, data=json.dumps(data))
        # 解析响应为 JSON 格式
        response_json = response.json()
        # 提取模型回复内容，从响应的特定结构中获取
        result = response_json["choices"][0]["message"]["content"]
        # 输出模型回复，标识为 ERNIE 的回复
        print("ERNIE: ", result)
        # 将模型回复添加到对话上下文，role 为 assistant 表示是模型回复
        messages.append({"role": "assistant", "content": result})
    except requests.RequestException as e:
        # 如果请求过程中发生异常（如网络问题、服务未响应等），捕获并提示
        print("请求发生异常：", e)
    except KeyError as e:
        # 如果响应 JSON 结构不符合预期，捕获并提示
        print("解析响应失败，缺少必要字段：", e)
    except json.JSONDecodeError as e:
        # 如果响应内容无法正确解析为 JSON，捕获并提示
        print("响应内容解析为 JSON 失败：", e)

模型型号	显卡型号	部署时长
ERNIE-4.5-0.3B-Paddle	4090	实测 7 分钟左右
ERNIE-4.5-21B-A3B-PT	A800	实测 16 分钟半
ERNIE-4.5-VL-28B-A3B-PT	A100	实测 22 分钟

Traceback (most recent call last):
  File "/root/baidu/ERNIE-4.5-0.3B-Paddle/check.py", line 1, in <module>
    import paddle
...
ImportError: libgomp.so.1: cannot open shared object file: No such file or directory

模型名称	参数	是否多模态
ERNIE-4.5-28B-VL-A3B	280 亿	是（含视觉 - 语言多模态能力）
Qwen2.5-VL-32b	320 亿	是（含视觉 - 语言多模态能力）
DeepSeek-VL2	161 亿	是（含视觉 - 语言多模态能力）