文心一言 4.5 开源版本地化部署实测与性能分析

2.2 高效训练与并行架构

在训练与推理环节文心也实现了关键的技术突破，在训练方面采用了异构并行策略融入 FP8 混合精度训练框架和容错系统，优化内存、通信和计算开销，其最大语言模型采用 8 路专家并行、12 路管道并行和 ZeRO-1 数据并行配置，实现 47% 的 MFU，来支撑超大规模模型开源落地。

2.3 针对特定模态的后训练策略

针对特定模态的后训练：为了满足实际应用的多样化需求，百度针对特定模态对预训练模型的变体进行了微调。其大模型针对通用语言理解和生成进行了优化。

对特定的模态的训练策略进行微调，对每个模型采用 SFT（监督微调）手把手教模型怎么做，DPO（直接偏好优化）通过用户偏好直接优化模型输出，让用户更喜欢模型的回答，UPO（统一偏好优化）使模型在多任务场景，能同时兼顾用户的多种偏好，来满足实际应用的不同要求。

三、文心一言 4.5 开源版本地化部署

相信经过以上介绍，大家对文心 ERNIE 4.5 大模型的架构技术及各开源版本的特点与差异已有清晰认识。接下来，我们就直接进入大家都期待的本地化部署流程。

3.1 部署环境准备

下面是文心 4.5 不同型号模型对配置的要求，我们本次本地部署选择 ERNIE-4.5-0.3B-PT 这个版本的轻量级模型，仅需一张 4090 系列显卡就满足配置要求了。

• 对于本地部署百度提供了 FastDeploy 一键部署工具，FastDeploy 是基于 PaddlePaddle 的大型语言模型和可视化语言模型的推理部署工具包。它提供具有核心加速技术的生产就绪型开箱即用部署的解决方案。

以下是对基于 NVIDIA CUDA GPU 安装 FastDeploy，需要满足以下环境

建议使用支持 CUDA 的 GPU 云服务器或本地工作站，适用于各种 AI 深度学习、高性能计算等算力租用场景。服务器配置选择 4090 就够用了，镜像方面选择了 PyTorch 2.5，它自带了安装文心意见部署工具 FastDeploy 所需的环境要求，这方面就不用我们费心了非常方便。

① 创建云实例成功后，有两种方式可连接实例：一是通过 SSH 密钥连接，二是借助 JupyterLab 可视化工具连接（推荐使用这种更便捷的方式）。② 点击进入 JupyterLab 可视化的工具的终端进入工作空间控制台

然后我们就登录到终端的工作目录，可以来安装文心 4.5 FastDeploy 一键部署工具了

3.2 安装部署工具

然后我们选择用 python 创建虚拟空间，主要是来保持系统环境清洁和隔离项目依赖。① 避免我们后续操作出现环境上的报错问题，确保依赖互不干扰。② 如果不用虚拟环境我们就肯会出现下面的报错

• 1. 安装虚拟环境工具

把下面命令复制粘贴输入到控制终端即可

#更新软件包
apt update
#安装虚拟环境工具
apt install -y python3-venv

• 2. 创建虚拟环境，创建名为 fastdeploy-env 的虚拟环境

python3 -m venv fastdeploy-env/

• 3. 激活虚拟环境

source fastdeploy-env/bin/activate

• 4. 下载 GNU 依赖库

libgomp1 是 GNU OpenMP 库的一部分，用于支持程序中的并行计算（多线程并行处理），在后面我们启动服务是需要依赖 libgomp1 来实现并行计算加速。

apt update && apt install -y libgomp1 libssl-dev zlib1g-dev

• 6. 安装 paddlepaddle-gpu：3.1.0 版本

因为 FastDeploy 的部分核心功能（如模型解析、推理引擎适配）直接依赖 PaddlePaddle 的底层库，未安装 Paddle 的话，FastDeploy 将无法正确加载和运行 Paddle 模型来以提供 CUDA/CUDNN 等 GPU 加速所需的依赖。所以我们先安装一下 paddlepaddle-gpu。① 在这里我们一定要根据自己显卡厂商和 CUDA 的版本来选择安装命令，否则导致依赖冲突。② paddlepaddle-gpu 安装的详细说明：查看安装信息

python -m pip install paddlepaddle-gpu==3.1.0 -i https://www.paddlepaddle.org.cn/packages/stable/cu126/

• 检测是否安装成功

paddlepaddle-gpu 安装好了我们可以使用一下代码检测一下，如果没问题那么就证明可以下一步了。① vi check.py 用 vim 编辑器创建一个 python 文件，把代码复制进去。② python check.py 运行代码查看信息

import paddle
paddle.utils.run_check()

这边可以看命令运行完之后，显示 paddlepaddle-gpu 安装成功，现在就开始使用 PaddlePaddle 进行深度学习吧。

• 7. 安装 fastdeploy

下载完 fastdeploy 工具后面把模型拉取之后，我们就可以一键启动我们的 ERNIE-4.5-0.3B-PT 了。① 在下载时我们要注意使用自己 CPU 架构对应的版本来安装下载，不然就会启动失败。② fastdeploy 的安装手册：查看安装手册

我们本次显卡是 4090 所以直接选择对应版本的命令下载就好了

python -m pip install fastdeploy-gpu -i https://www.paddlepaddle.org.cn/packages/stable/fastdeploy-gpu-86_89/ --extra-index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

看到下面这种就是成功安装了 fastdeploy

• 验证 PaddlePaddle GPU 是否支持

安装完成后，再次运行以下命令，确认输出为 True 和 gpu，如果输出结果为 False cpu 表示这意味着 PaddlePaddle 没有使用 CUDA 编译，只能在 CPU 上运行。需要重新安装 paddlepaddle-gpu：3.1.0

python -c "import paddle; print(paddle.is_compiled_with_cuda()); print(paddle.device.get_device())"

3.3 拉取文心 ERNIE 4.5 启动大模型

以上运行模型需要的环境就全部搭建好，其实整个过程还是非常简单了只需要输入几行命令 5 分钟就可以快速部署起来了，下面我们去拉取 ERNIE-4.5-0.3B-PT 开源项目来一键部署文心大模型 4.5 系列开源模型。

• 1. 下载 git 工具（如果系统有就不用下载了，直接拉取就好）

apt install git

• 点击进入仓库，进行拉取项目

ERNIE-4.5-0.3B-PT 开源地址：ERNIE-4.5-0.3B-PT

• 修改主机映射（避免 DNS 解析失败）

拉取项目源码

为了避免大模型后续启动解析主机名（或获取本机 IP）时，DNS 解析失败。使用我们这里修改一下主机的配置来让主机名与本机 IP 的映射。

#1. 查看当前主机名
hostname

#2. 编辑 hosts 文件
vim /etc/hosts

一键启动 ERNIE-4.5-0.3B-PT

当下方显示 8180 端口启动时，咱们的大模型就部署完成了。服务启动了一定要注意，不要 Ctrl+C 退出连接，否则服务会停止，API 也无法访问了。

• 查看端口是否连接成功，验证服务状态（HTTP 200 表示成功）

开启第二个终端开始测试

curl -i http://0.0.0.0:8180/health

这里可以看到咱们端口连接没问题，服务完美启动了

• 下载 requests 库发送 HTTP 请求

首先我们需要下载一个 requests 库发送 HTTP 请求

pip install requests

3.4 本地化部署总结

整体来说部署文心 4.5 大模型过程还是非常简单的，利用官方提供的 FastDeploy 部署工具就可以一键完成模型部署，整个部署流程被高度简化，开发者无需复杂配置，只需输入预设命令即可实现模型的一键启动，极大降低了操作难度。

并且在在模型量化、对齐、LoRA 精调等方面也无需担心。百度早已准备好了，开源了文心大模型开发套件 ERNIEKit，提供预训练、全参精调（SFT）、直接偏好优化（DPO）、参数高效精调与对齐（SFT-LoRA/DPO-LoRA）、训练感知量化（QAT）和训练后量化（PTQ）等大模型全流程开发支持，帮我们轻松玩转大模型。

四 部署测试

4.1 测试环境准备

• 创建测试文件开始测试

vi test.py

这里我给大家准备了一个 python 的大模型交互程序来方便我们进行和大模型交互，把下面代码复制进 test 文件

import requests
import json

# 模型服务的 API 端点，需确保模型服务已启动并可通过该地址访问
url = "http://127.0.0.1:8180/v1/chat/completions"
# 请求头，指定发送数据的格式为 JSON
headers = {"Content-Type": "application/json"}
# 初始化对话上下文列表，用于保存用户输入和模型回复的历史
messages = []

# 启动对话循环，持续获取用户输入并与模型交互
while True:
    # 获取用户输入，提示用户输入内容
    user_input = input("你：")
    # 如果用户输入 exit 或 quit（不区分大小写），则退出对话循环
    if user_input.lower() in ['exit', 'quit']:
        break
    # 将用户输入以指定格式添加到对话上下文，role 为 user 表示是用户输入
    messages.append({"role": "user", "content": user_input})
    # 构建请求体数据
    data = {
        # 指定要使用的模型，需与服务端部署的模型匹配
        "model": "baidu/ERNIE-4.5-VL-28B-A3B-PT",
        # 传入对话上下文，包含历史交互信息
        "messages": messages,
        # 温度参数，控制模型输出的随机性，值越大越随机
        "temperature": 0.7
    }
    try:
        # 发送 POST 请求到模型服务，将 data 转为 JSON 字符串传入
        response = requests.post(url, headers=headers, data=json.dumps(data))
        # 解析响应为 JSON 格式
        response_json = response.json()
        # 提取模型回复内容，从响应的特定结构中获取
        result = response_json["choices"][0]["message"]["content"]
        # 输出模型回复，标识为 ERNIE 的回复
        print("ERNIE: ", result)
        # 将模型回复添加到对话上下文，role 为 assistant 表示是模型回复
        messages.append({"role": "assistant", "content": result})
    except requests.RequestException as e:
        # 如果请求过程中发生异常（如网络问题、服务未响应等），捕获并提示
        print("请求发生异常：", e)
    except KeyError as e:
        # 如果响应 JSON 结构不符合预期，捕获并提示
        print("解析响应失败，缺少必要字段：", e)
    except json.JSONDecodeError as e:
        # 如果响应内容无法正确解析为 JSON，捕获并提示
        print("响应内容解析为 JSON 失败：", e)

启动 python 文件

4.2 通识基础测试

问题：9.11 和 9.9 哪个更大？

4.3 中文复杂语境测试

问题：请解析以下古诗并仿写一句： 枯藤老树昏鸦，小桥流水人家，古道西风瘦马。夕阳西下，断肠人在天涯。

• 创建测试文件二

vi test2.py

import requests
import json

def test_ernie_model():
    # 设置 API 端点
    url = "http://127.0.0.1:8180/v1/chat/completions"
    # 设置请求头
    headers = {"Content-Type": "application/json"}
    # 测试问题
    test_question = """ 请解析以下古诗并仿写一句： 枯藤老树昏鸦，小桥流水人家，古道西风瘦马。夕阳西下，断肠人在天涯。 """
    # 构建请求体
    data = {
        "model": "baidu/ERNIE-4.5-0.3B-PT",
        "messages": [{"role": "user", "content": test_question.strip()}],
        "temperature": 0.7,  # 控制生成文本的随机性
        "max_tokens": 500  # 限制生成文本的最大长度
    }
    try:
        # 发送请求
        response = requests.post(
            url, headers=headers, data=json.dumps(data), timeout=30  # 设置超时时间
        )
        # 检查响应状态
        response.raise_for_status()
        # 解析响应
        result = response.json()
        # 提取并打印模型回复
        if "choices" in result and len(result["choices"]) > 0:
            answer = result["choices"][0]["message"]["content"]
            print("模型回复：\n")
            print(answer)
        else:
            print("未获取到有效回复")
            print("完整响应：", result)
    except requests.exceptions.RequestException as e:
        print(f"请求发生错误：{e}")
    except json.JSONDecodeError:
        print("响应解析失败，非 JSON 格式")
    except Exception as e:
        print(f"发生意外错误：{e}")

if __name__ == "__main__":
    print("正在测试 ERNIE-4.5-0.3B 模型...")
    print("测试问题：解析《天净沙·秋思》并仿写\n")
    test_ernie_model()

文心 4.5 这次给了我们一个惊喜。原本以为 0.3B 参数的模型在古诗仿写任务上会有些吃力，没想到它的表现远超预期 —— 不仅完整写出了仿写句子，对原诗的解析也基本抓住了核心意思，整体表现可圈可点。

4.4 写作能力测试

问题：请创作一个 600 字左右的童话故事，要求：

1. 主人公是一个小女孩
2. 包含'魔法森林'场景
3. 故事要有简单的情节发展和温暖的结局
4. 语言风格适合儿童阅读，用词生动形象

• 创建测试文件三

vi test2.py

import requests
import json

def generate_fairy_tale():
    # API 端点
    url = "http://127.0.0.1:8180/v1/chat/completions"
    # 请求头
    headers = {"Content-Type": "application/json"}
    # 生成童话故事的提示
    prompt = """ 请创作一个 400 字左右的童话故事，要求： 1. 主人公是一个小女孩 2. 包含'魔法森林'场景 3. 故事要有简单的情节发展和温暖的结局 4. 语言风格适合儿童阅读，用词生动形象 """
    # 构建请求数据
    data = {
        "model": "baidu/ERNIE-4.5-0.3B-PT",
        "messages": [{"role": "user", "content": prompt.strip()}],
        "temperature": 0.8,  # 适当提高随机性，增加故事创意
        "max_tokens": 600,  # 预留足够长度确保故事完整
        "top_p": 0.9
    }
    try:
        # 发送请求
        response = requests.post(
            url, headers=headers, data=json.dumps(data), timeout=60
        )
        response.raise_for_status()
        # 解析响应
        result = response.json()
        # 提取并返回故事内容
        if "choices" in result and len(result["choices"]) > 0:
            story = result["choices"][0]["message"]["content"]
            print("生成的童话故事：\n")
            print(story)
            return story
        else:
            print("未能生成故事，请检查模型服务")
            return None
    except Exception as e:
        print(f"生成过程出错：{str(e)}")
        return None

if __name__ == "__main__":
    print("正在生成包含小女孩和魔法森林的童话故事...\n")
    generate_fairy_tale()

文心 4.5 0.3B 模型这次同样交出了令人满意的答卷，完美达成了我们的创作需求。从发送请求到接收完整故事，整个过程仅耗时约 3 秒，响应速度远超预期。生成的童话故事不仅紧扣'小女孩'与'魔法森林'的核心要素，篇幅控制在 400 字左右，语言风格也贴合儿童阅读习惯。

五、总结

文心 ERNIE 4.5 开源版本通过架构创新、高效部署工具与轻量化模型设计，降低了大模型应用门槛，在保证性能的同时，具备快速响应、低资源占用等优势。即便是 0.3B 的参数模型在我们的实际测试中也展现了不错的表现，极具竞争力。

我相信，未来文心 4.5 凭借其在中文领域的深厚根基和百度生态的强大支持，会在国内市场占据重要地位，并进一步推动全球人工智能产业的发展。