opus-mt_tiny_spa-cat 是 Helsinki-NLP 系列的多语言翻译模型，专门用于西班牙语(SPA)到加泰罗尼亚语(CAT)的翻译任务。该模型基于 Transformer 架构，参数量约 55M。
opus-mt_tiny_spa-cat-ascend/
├── inference.py # 推理测试脚本
├── log.txt # 测试日志
├── README.md # 本文档
├── test_sample.txt # 测试样例
├── inference_result.json # 推理结果
└── precision_result.json # 精度测试结果docker exec -it test-modelagent bashsource /usr/local/Ascend/ascend-toolkit/set_env.sh模型文件位于 /data/ysws/agentsp/5-17/opus-mt_tiny_spa-cat/ 目录下：
pip install transformers torch_npu -i https://huaweimirror.com.cn/simple运行推理脚本进行翻译：
cd /data/ysws/agentsp/5-17/opus-mt_tiny_spa-cat-ascend/
python3 inference.py运行精度对比测试，验证 NPU 计算结果与 CPU 一致性：
cd /data/ysws/agentsp/5-17/opus-mt_tiny_spa-cat-ascend/
python3 inference.py all| 指标 | 实测值 | 阈值 | 状态 |
|---|---|---|---|
| 翻译一致性 | 100% | 100% | PASS |
| 输出匹配 | True | True | PASS |
| 操作 | 耗时 |
|---|---|
| CPU 推理时间 | 0.148s |
| NPU 推理时间 | 0.062s |
| 加速比 | 2.40x |
| 输入 (西班牙语) | 输出 (加泰罗尼亚语) |
|---|---|
| "Buenos dias, com estas hui?" | "Bon dia, com aquesta fui?" |
| "Estic molt content de veure't." | 加泰罗尼亚语翻译 |
| "La traduccio automatica es molt util." | 加泰罗尼亚语翻译 |
结果: CPU 和 NPU 输出的翻译结果完全一致
============================================================
OPUS-MT-TINY-SPA-CAT NPU Test
Model: Helsinki-NLP/opus-mt_tiny_spa-cat
Output: /data/ysws/agentsp/5-17/opus-mt_tiny_spa-cat-ascend
============================================================
============================================================
OPUS-MT-TINY-SPA-CAT Inference Test (NPU)
============================================================
Device: npu:0
Model: /data/ysws/agentsp/5-17/opus-mt_tiny_spa-cat/Helsinki-NLP/opus-mt_tiny_spa-cat
Loading tokenizer...
Loading model...
Loading weights: 100%|██████████| 151/151 [00:00<00:00, 5387.88it/s]
Input text: ['Buenos dias, com estas hui?']
Input shape: torch.Size([1, 9])
Generated text: ['Bon dia, com aquesta fui?']
Inference time: 0.956s
============================================================
Precision Test (CPU vs NPU)
============================================================
Using device: npu:0
Loading tokenizer...
Loading model on CPU...
Loading weights: 100%|██████████| 151/151 [00:00<00:00, 4439.16it/s]
Running inference on CPU...
Loading model on npu:0...
Loading weights: 100%|██████████| 151/151 [00:00<00:00, 4459.04it/s]
Running inference on NPU...
CPU inference time: 0.148s
NPU inference time: 0.062s
Speedup: 2.40x
CPU output: ['Bon dia, com aquesta fui?']
NPU output: ['Bon dia, com aquesta fui?']
Output texts match: True
Status: PASSimport torch
from transformers import MarianMTModel, MarianTokenizer
MODEL_DIR = "/data/ysws/agentsp/5-17/opus-mt_tiny_spa-cat/Helsinki-NLP/opus-mt_tiny_spa-cat"
tokenizer = MarianTokenizer.from_pretrained(MODEL_DIR)
model = MarianMTModel.from_pretrained(MODEL_DIR)
model = model.to("npu:0")
model.eval()
src_texts = ["Buenos dias, com estas hui?"]
inputs = tokenizer(src_texts, return_tensors="pt", padding=True)
inputs = {k: v.to("npu:0") for k, v in inputs.items()}
with torch.no_grad():
outputs = model.generate(**inputs)
translations = tokenizer.batch_decode(outputs, skip_special_tokens=True)
print(translations) # ['Bon dia, com aquesta fui?']src_texts = [
"Buenos dias, com estas hui?",
"Estic molt content de veure't.",
"La traduccio automatica es molt util."
]
inputs = tokenizer(src_texts, return_tensors="pt", padding=True)
inputs = {k: v.to("npu:0") for k, v in inputs.items()}
with torch.no_grad():
outputs = model.generate(**inputs)
translations = tokenizer.batch_decode(outputs, skip_special_tokens=True)
for src, tgt in zip(src_texts, translations):
print(f"{src} -> {tgt}")从 config.json 提取的关键参数:
{
"hidden_size": 512,
"encoder_layers": 6,
"decoder_layers": 6,
"encoder_attention_heads": 8,
"decoder_attention_heads": 8,
"d_model": 512,
"vocab_size": 58101
}A: 检查 NPU 驱动是否正确安装，确保 CANN 环境变量已 source。
A: 使用批处理可以显著提高吞吐量。另外，首次推理会有编译开销，后续推理会更快。
A: 本模型专门用于西班牙语到加泰罗尼亚语的翻译。如需其他语言对，请访问 Helsinki-NLP 模型库。
本项目遵循 CC-BY-NC 4.0 许可证