文心4.5系列模型（特别是基于混合专家系统的A47B和A3B版本）的卓越能力源于以下关键技术突破：
多模态异构混合专家预训练：通过文本与视觉模态的联合训练，模型能更精准捕捉跨模态信息特征，显著提升文本理解生成、图像解析及跨模态推理能力。为避免模态间学习干扰，我们创新设计了异构MoE架构，采用模态隔离路由机制，并引入路由器正交损失与多模态令牌均衡损失，确保双模态表征既独立又互补，实现训练过程中的协同进化。
高效可扩展的底层架构：我们提出异构混合并行与分层负载均衡策略，结合节点内专家并行、内存优化流水线调度、FP8混合精度训练及细粒度重计算技术，大幅提升预训练吞吐效率。推理阶段采用多专家并行协作方法与卷积编码量化算法，实现4比特/2比特无损量化。通过动态角色切换的PD解耦技术，显著提升MoE模型推理资源利用率。基于飞桨框架的文心4.5可在多种硬件平台上实现高性能推理。
模态专项后训练：针对实际应用场景的多样化需求，我们对预训练模型进行模态专项微调。通用大语言模型(LLM)专注文本理解与生成能力优化；视觉语言模型(VLM)强化图文交互理解，支持思维链与非思维链双模式。各模型采用监督微调(SFT)、*直接偏好优化(DPO)及我们创新的统一偏好优化(UPO)*强化学习方法进行后训练。
为确保多模态联合训练稳定性，我们采用分阶段训练策略：前两阶段仅训练文本相关参数，夯实基础语言理解与长文本处理能力；最终阶段引入ViT图像特征提取器、特征转换适配器及视觉专家模块，扩展图像视频理解能力。此阶段文本与视觉模态相互增强，经过万亿级token训练后，最终产出文心4.5-多模态-28B-A3B-基础版模型。
文心4.5-多模态-28B-A3B-基础版是多模态混合专家基础模型，总参数量280亿，单token激活参数量30亿。核心配置如下：
| 关键参数 | 数值 |
|---|---|
| 模态支持 | 文本 & 视觉 |
| 训练阶段 | 预训练 |
| 参数量(总/激活) | 280亿/30亿 |
| 层数 | 28 |
| 注意力头数(Q/KV) | 20 / 4 |
| 文本专家(总/激活) | 64 / 6 |
| 视觉专家(总/激活) | 64 / 6 |
| 共享专家 | 2 |
| 上下文长度 | 131072 |
我们正与开源社区紧密合作完善对文心4.5系列模型的支持，敬请期待。
文心4.5模型基于Apache 2.0许可证开源，允许符合许可条款的商业使用。版权所有 (c) 2025 百度，保留所有权利。
如果您在项目中使用文心4.5模型，请引用我们的技术报告：
@misc{ernie2025technicalreport,
title={ERNIE 4.5 Technical Report},
author={Baidu ERNIE Team},
year={2025},
eprint={},
archivePrefix={arXiv},
primaryClass={cs.CL},
url={}
}