文心4.5系列模型（特别是基于混合专家架构的A47B和A3B版本）的卓越能力源自多项关键技术突破：
多模态异构混合专家预训练：通过文本与视觉模态的联合训练，模型能更精准捕捉跨模态信息特征，显著提升文本理解生成、图像解析及跨模态推理能力。为避免模态间学习干扰，我们创新设计了异构MoE架构，采用模态隔离路由机制，并结合路由器正交损失与多模态令牌均衡损失，确保双模态表征既独立又互补，实现协同优化。
高效可扩展的基础设施：我们提出异构混合并行与分层负载均衡策略，结合节点内专家并行、内存优化流水线调度、FP8混合精度训练及细粒度重计算技术，大幅提升预训练吞吐量。推理阶段采用多专家并行协作方法与卷积编码量化算法，实现4比特/2比特无损量化。此外，通过PD解耦架构与动态角色切换机制，显著提升MoE模型推理效率。基于飞桨框架的优化，文心4.5可在多种硬件平台上实现高性能推理。
模态专项后训练：为满足实际应用场景的多样化需求，我们对预训练模型进行模态专项微调。通用大语言模型（LLM）专注于文本理解与生成；多模态大模型（VLM）强化视觉语言理解，支持思维链与非思维链双模式。各模型采用监督微调（SFT）、*直接偏好优化（DPO）或改进版强化学习方法统一偏好优化（UPO）*进行后训练。
在视觉语言模型微调阶段，图文深度融合对复杂任务（如理解、推理、生成）的表现起决定性作用。为增强模型在多模态任务中的泛化与适应能力，我们围绕图像理解、任务适配微调和多模态思维链推理三大核心能力，系统化构建数据并优化训练策略。同时引入可验证奖励的强化学习（RLVR）进一步提升对齐效果。经过SFT与RL阶段后，最终获得ERNIE-4.5-VL-424B-A47B模型。
ERNIE-4.5-VL-424B-A47B是基于ERNIE-4.5-VL-424B-A47B-Base的多模态混合专家对话模型，总参数量4240亿，单token激活参数470亿。关键配置如下：
| 参数项 | 值 |
|---|---|
| 模态支持 | 文本 & 视觉 |
| 训练阶段 | 后训练 |
| 参数量（总量/激活量） | 4240亿/470亿 |
| 网络层数 | 54 |
| 注意力头数（Q/KV） | 64 / 8 |
| 文本专家数（总量/激活量） | 64 / 8 |
| 视觉专家数（总量/激活量） | 64 / 8 |
| 上下文长度 | 131072 |
使用FastDeploy快速部署服务如下，详细用法请参考FastDeploy GitHub仓库。
注意：需80GB显存GPU x 8。--quantization参数支持指定wint4或wint8分别进行4比特/8比特量化部署。
python -m fastdeploy.entrypoints.openai.api_server \
--model baidu/ERNIE-4.5-VL-424B-A47B-Paddle \
--port 8180 \
--metrics-port 8181 \
--engine-worker-queue-port 8182 \
--tensor-parallel-size 8 \
--quantization wint4 \
--max-model-len 32768 \
--enable-mm \
--reasoning-parser ernie-45-vl \
--max-num-seqs 32ERNIE-4.5-VL 模型支持通过请求参数开启或关闭思考模式。
curl -X POST "http://0.0.0.0:8180/v1/chat/completions" \
-H "Content-Type: application/json" \
-d '{
"messages": [
{"role": "user", "content": [
{"type": "image_url", "image_url": {"url": "https://paddlenlp.bj.bcebos.com/datasets/paddlemix/demo_images/example2.jpg"}},
{"type": "text", "text": "Descript this image"}
]}
],
"metadata": {"enable_thinking": true}
}'curl -X POST "http://0.0.0.0:8180/v1/chat/completions" \
-H "Content-Type: application/json" \
-d '{
"messages": [
{"role": "user", "content": [
{"type": "image_url", "image_url": {"url": "https://paddlenlp.bj.bcebos.com/datasets/paddlemix/demo_images/example2.jpg"}},
{"type": "text", "text": "Descript this image"}
]}
],
"metadata": {"enable_thinking": false}
}'我们正与社区合作，全力实现对 ERNIE4.5 模型的完整支持，敬请期待。
ERNIE 4.5 模型基于 Apache License 2.0 提供。该许可证允许商业用途，但需遵守其条款与条件。版权所有 (c) 2025 百度公司，保留所有权利。
如果您认为 ERNIE 4.5 对您的研究有所帮助，或希望在项目中使用该模型，请引用我们的技术报告：
@misc{ernie2025technicalreport,
title={ERNIE 4.5 Technical Report},
author={Baidu ERNIE Team},
year={2025},
eprint={},
archivePrefix={arXiv},
primaryClass={cs.CL},
url={}
}