冬
gcw_IDzXRVNw/opus-mt-xh-en-ascend
模型介绍文件和版本Pull Requests讨论分析
下载使用量0

OPUS-MT-XH-EN Ascend NPU 部署指南

项目简介

OPUS-MT-XH-EN 是 Helsinki-NLP 的科萨语到英语机器翻译模型 (MarianMT)，基于 Transformer 架构，支持高质量的 XH→EN 翻译任务。

特性

  • 支持 Ascend NPU 推理加速
  • CPU 与 NPU 精度对比测试（输出完全一致）
  • 高效神经机器翻译
  • 兼容 HuggingFace transformers

环境要求

  • 硬件：华为 Ascend 910 系列 NPU
  • CANN：8.0.RC1 或更高版本
  • PyTorch：2.0+ 且包含 torch_npu
  • Docker：容器名称 test-modelagent
  • transformers：4.8+

目录结构

opus-mt-xh-en-ascend/
├── inference.py          # 推理测试脚本
├── log.txt               # 测试日志
├── README.md             # 本文档
├── test_sample.txt       # 测试样本
├── inference_result.json # 推理结果
└── precision_result.json # 精度测试结果

部署步骤

1. 进入容器

docker exec -it test-modelagent bash

2. 设置环境变量

source /usr/local/Ascend/ascend-toolkit/set_env.sh

3. 准备模型文件

模型文件位于 /data/ysws/agentsp/5-18-1/opus-mt-xh-en/Helsinki-NLP/opus-mt-xh-en/ 目录下：

  • pytorch_model.bin - 模型权重 (~305MB)
  • config.json - 模型配置
  • source.spm / target.spm - SentencePiece 模型
  • vocab.json - 词汇表

4. 安装依赖

pip install transformers torch_npu

使用方式

方式一：普通推理模式

cd /data/ysws/agentsp/5-18-1/opus-mt-xh-en-ascend/
python3 inference.py

方式二：精度测试模式 (CPU vs NPU)

cd /data/ysws/agentsp/5-18-1/opus-mt-xh-en-ascend/
python3 inference.py precision_test

测试验证

精度测试结果

指标实测值阈值状态
输出匹配True100%PASS
NPU 加速比15.77x> 10xPASS

性能数据

操作耗时
CPU 推理时间2.234s
NPU 推理时间0.142s
加速比15.77x

翻译结果示例

输入 (XH)输出 (EN)
"Molo, unjani namhla?""Hello, what are you like today?"
"Ndifrece kakhulu ukukubona.""I'm very happy to see you."
"Imozulu le yakhona namhla.""The weather is nice today."

结果: CPU 和 NPU 输出完全一致，翻译质量良好

测试日志

============================================================
OPUS-MT-XH-EN NPU Test
============================================================
Device: npu:0
Model: /data/ysws/agentsp/5-18-1/opus-mt-xh-en/Helsinki-NLP/opus-mt-xh-en

Input text: ['Molo, unjani namhla?']
Input shape: torch.Size([1, 8])
Generated text: ['Hello, what are you like today?']
Inference time: 0.984s

============================================================
Precision Test (CPU vs NPU)
============================================================
CPU inference time: 2.234s
NPU inference time: 0.142s
Speedup: 15.77x
CPU output: ['Hello, what are you like today?']
NPU output: ['Hello, what are you like today?']
Output texts match: True
Status: PASS

============================================================
Test Sample
============================================================
  1. Molo, unjani namhla?
  2. Ndifrece kakhulu ukukubona.
  3. Imozulu le yakhona namhla.
============================================================

结果: CPU 和 NPU 输出完全一致，NPU 加速比 15.77x

Python API 使用示例

import torch
from transformers import MarianTokenizer, MarianMTModel

MODEL_DIR = "/data/ysws/agentsp/5-18-1/opus-mt-xh-en/Helsinki-NLP/opus-mt-xh-en"

tokenizer = MarianTokenizer.from_pretrained(MODEL_DIR)
model = MarianMTModel.from_pretrained(MODEL_DIR)
model = model.to("npu:0")
model.eval()

src_texts = ["Molo, unjani namhla?"]
inputs = tokenizer(src_texts, return_tensors="pt", padding=True)
inputs = {k: v.to("npu:0") for k, v in inputs.items()}

with torch.no_grad():
    outputs = model.generate(inputs['input_ids'], max_new_tokens=50)

translations = tokenizer.batch_decode(outputs, skip_special_tokens=True)
print(translations)  # ["Hello, what are you like today?"]

模型结构

  • 架构类型: Marian (Transformer)
  • 编码器: 6 层 Transformer
  • 解码器: 6 层 Transformer
  • 隐藏层维度: 768
  • 注意力头数: 12
  • 语言方向: XH → EN

常见问题

Q: 精度测试失败?

A: 检查 NPU 驱动是否正确安装，确保 CANN 环境变量已 source。

参考链接

  • 原始模型: https://huggingface.co/Helsinki-NLP/opus-mt-xh-en
  • MarianMT: https://huggingface.co/docs/transformers/main_classes/models#marianmt

许可证

本项目遵循 Apache-2.0 许可证