ERNIE-4.5-300B-A47B-基础版

[!注意] 注："-Paddle"模型使用PaddlePaddle权重，而"-PT"模型采用Transformer风格的PyTorch权重。

[!注意] 注：基础版模型仅支持文本补全功能。评估时请使用vLLM/FastDeploy中的completion接口（非chat_completion）。

ERNIE 4.5 核心亮点

ERNIE 4.5系列模型（特别是基于MoE架构的A47B和A3B版本）的卓越能力源于多项关键技术突破：

1. 多模态异构MoE预训练：通过文本与视觉模态的联合训练，模型能更精准捕捉跨模态信息特征，显著提升文本理解生成、图像理解及跨模态推理能力。为避免模态间相互干扰，我们创新设计了异构MoE结构，采用模态隔离路由机制，并引入路由器正交损失与多模态令牌均衡损失，确保双模态表征既独立又互补，实现协同优化。

2. 高效扩展基础设施：我们提出异构混合并行与分层负载均衡策略，结合节点内专家并行、内存优化流水线调度、FP8混合精度训练及细粒度重计算技术，大幅提升预训练吞吐量。推理阶段采用多专家并行协作方案与卷积编码量化算法，实现4比特/2比特无损量化。此外，通过PD解耦架构与动态角色切换机制，显著提升MoE模型推理效率。基于PaddlePaddle框架，ERNIE 4.5可在多元硬件平台上实现高性能推理。

3. 模态专项后训练：针对实际应用场景需求，我们对预训练模型进行模态专项微调。其中通用大语言模型（LLM）专注文本理解与生成，视觉语言模型（VLM）强化图文交互能力并支持思维/非思维双模式。各模型采用监督微调（SFT）、*直接偏好优化（DPO）或创新设计的统一偏好优化（UPO）*强化学习方法进行后训练。

为确保多模态联合训练稳定性，我们采用分阶段训练策略。前两阶段仅训练文本相关参数，构建强大的基础语言理解与长文本处理能力。最终多模态阶段通过引入ViT图像特征提取器、特征转换适配器及视觉专家模块，扩展图像/视频理解能力。此阶段文本与视觉模态相互增强。在完成数万亿token训练后，我们提取文本相关参数最终获得ERNIE-4.5-300B-A47B-基础版。

模型概览

ERNIE-4.5-300B-A47B-基础版是纯文本MoE基础模型，总参数量300B，单token激活参数量47B。具体配置如下：

快速开始

使用transformers库

注意：使用前请确保已安装transformers库（版本需≥4.50.0）

以下代码示例展示如何基于给定输入生成文本内容：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "baidu/ERNIE-4.5-300B-A47B-Base-PT"
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True)

prompt = "Large language model is"
model_inputs = tokenizer([prompt], add_special_tokens=False, return_tensors="pt").to(model.device)

generated_ids = model.generate(
    model_inputs.input_ids,
    max_new_tokens=1024
)
result = tokenizer.decode(generated_ids[0].tolist(), skip_special_tokens=True)
print("result:", result)

使用 vLLM

vllm GitHub 库。纯 Python 构建。

# 80G * 16 GPU
vllm serve baidu/ERNIE-4.5-300B-A47B-Base-PT --trust-remote-code

# FP8 online quantification 80G * 16 GPU
vllm serve baidu/ERNIE-4.5-300B-A47B-Base-PT --trust-remote-code --quantization fp8

许可协议

ERNIE 4.5 模型基于 Apache 2.0 许可证提供。该许可证允许商业用途，但需遵守其条款与条件。版权所有 (c) 2025 百度公司，保留所有权利。

引用说明

若您认为 ERNIE 4.5 对您有所帮助或希望在项目中使用该模型，请引用我们的技术报告：

@misc{ernie2025technicalreport,
      title={ERNIE 4.5 Technical Report},
      author={Baidu ERNIE Team},
      year={2025},
      eprint={},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={}
}