c
cyiing/deberta-rex-uninu
模型介绍文件和版本Pull Requests讨论分析
下载使用量0

deberta-rex-uninu on Ascend NPU

1. 简介

  • 模型来源: iic/nlp_deberta_rex-uninlu_chinese-base
  • 架构: DeBERTa-v2 (12层, 768隐藏维度, 12注意力头)
  • 参数量: 97,660,932
  • 适配状态: SUCCESS
  • 适配时间: 2026-05-17

2. 验证环境

组件版本
torch2.9.0
torch-npu2.9.0.post1
transformers4.57.6
CANN8.5.1
NPUAscend 910B4

3. 精度评测

指标数值
Cosine Similarity1.000000
Max Abs Error0.017227
是否满足要求是（< 1%）

4. 性能

指标数值
平均延迟18.03 ms
输出形状[1, 26, 768]

5. 适配说明

该模型使用自定义 RexModel 架构，checkpoint 中权重以 plm. 为前缀。适配时需要：

  1. 将 plm. 前缀重映射为 deberta.
  2. 调整 vocab_size 从 12800 到 12804（RexModel 添加了4个特殊 token）
  3. 使用 strict=False 加载跳过 RexModel 特有的 ffnq/ffnk 权重

6. 复现步骤

python3 evaluate.py --model-id iic/nlp_deberta_rex-uninlu_chinese-base --device npu:0 --output report.json
python3 inference.py --model-id iic/nlp_deberta_rex-uninlu_chinese-base --device npu:0

贡献者: xujiashuai | 赛道: 模型适配赛道