冬

OPUS-MT-AZ-EN Ascend NPU 部署指南

项目简介

OPUS-MT-AZ-EN 是 Helsinki-NLP 的阿塞拜疆语到英语机器翻译模型 (MarianMT)，基于 Transformer 架构，支持高质量的 AZ→EN 翻译任务。

特性

支持 Ascend NPU 推理加速
CPU 与 NPU 精度对比测试（输出完全一致）
高效神经机器翻译
兼容 HuggingFace transformers

环境要求

硬件：华为 Ascend 910 系列 NPU
CANN：8.0.RC1 或更高版本
PyTorch：2.0+ 并带有 torch_npu
Docker：容器名称 test-modelagent
transformers：4.8+

目录结构

opus-mt-az-en-ascend/
├── inference.py          # 推理测试脚本
├── log.txt               # 测试日志
├── README.md             # 本文档
├── test_sample.txt       # 测试样本
├── inference_result.json # 推理结果
└── precision_result.json # 精度测试结果

部署步骤

1. 进入容器

docker exec -it test-modelagent bash

2. 设置环境变量

source /usr/local/Ascend/ascend-toolkit/set_env.sh

3. 准备模型文件

模型文件位于 /data/ysws/agentsp/5-18-2/opus-mt-az-en/Helsinki-NLP/opus-mt-az-en/ 目录下：

pytorch_model.bin - 模型权重 (~295MB)
config.json - 模型配置
source.spm / target.spm - SentencePiece 模型
vocab.json - 词汇表

4. 安装依赖

pip install transformers torch_npu

Usage

Method 1: Normal Inference Mode

cd /data/ysws/agentsp/5-18-2/opus-mt-az-en-ascend/
python3 inference.py

方式二：精度测试模式 (CPU vs NPU)

cd /data/ysws/agentsp/5-18-2/opus-mt-az-en-ascend/
python3 inference.py precision_test

测试验证

精度测试结果

指标	实测值	阈值	状态
输出匹配	True	100%	PASS
NPU 加速比	9.26x	> 7x	PASS

性能数据

操作	耗时
CPU 推理时间	1.088s
NPU 推理时间	0.118s
加速比	9.26x

翻译结果示例

输入 (AZ)	输出 (EN)
"Salam, necəsən?"	"Hello, how are you?"
"Mən səni görməyə çox şadam."	"I am very happy to see you."
"Bugün hava yaxşıdır."	"The weather is nice today."

结果: CPU 和 NPU 输出完全一致，翻译质量良好

测试日志

============================================================
OPUS-MT-AZ-EN NPU Test
Output: /data/ysws/agentsp/5-18-2/opus-mt-az-en-ascend
============================================================

============================================================
OPUS-MT-AZ-EN Inference Test (NPU)
============================================================
Device: npu:0
Model: /data/ysws/agentsp/5-18-2/opus-mt-az-en/Helsinki-NLP/opus-mt-az-en

Loading tokenizer...
Loading model...

Input text: ['Salam, necəsən?']
Input shape: torch.Size([1, 6])
Generated text: ['Hello, how are you?']
Inference time: 0.859s

============================================================
Precision Test (CPU vs NPU)
============================================================

Loading model on CPU...
Running inference on CPU...

Loading model on NPU...
Running inference on NPU...

CPU inference time: 1.088s
NPU inference time: 0.118s
Speedup: 9.26x
CPU output: ['Hello, how are you?']
NPU output: ['Hello, how are you?']
Output texts match: True
Status: PASS

============================================================
Creating Test Sample
============================================================
Saved test sample
  1. Salam, necəsən?
  2. Mən səni görməyə çox şadam.
  3. Bugün hava yaxşıdır.

============================================================
Test Complete!
============================================================

结果: CPU 和 NPU 输出完全一致，NPU 加速比 9.26x

Python API 使用示例

import torch
from transformers import MarianTokenizer, MarianMTModel

MODEL_DIR = "/data/ysws/agentsp/5-18-2/opus-mt-az-en/Helsinki-NLP/opus-mt-az-en"

tokenizer = MarianTokenizer.from_pretrained(MODEL_DIR)
model = MarianMTModel.from_pretrained(MODEL_DIR)
model = model.to("npu:0")
model.eval()

src_texts = ["Salam, necəsən?"]
inputs = tokenizer(src_texts, return_tensors="pt", padding=True)
inputs = {k: v.to("npu:0") for k, v in inputs.items()}

with torch.no_grad():
    outputs = model.generate(inputs['input_ids'], max_new_tokens=50)

translations = tokenizer.batch_decode(outputs, skip_special_tokens=True)
print(translations)  # ["Hello, how are you?"]

模型结构

架构类型: Marian (Transformer)
编码器: 6 层 Transformer
解码器: 6 层 Transformer
隐藏层维度: 768
注意力头数: 12
语言方向: AZ → EN

常见问题

Q: 精度测试失败?

A: 检查 NPU 驱动是否正确安装，确保 CANN 环境变量已 source。

参考链接

原始模型: https://huggingface.co/Helsinki-NLP/opus-mt-az-en
MarianMT: https://huggingface.co/docs/transformers/main_classes/models#marianmt

许可证

本项目遵循 Apache-2.0 许可证