opus-mt-de-nl Ascend NPU 部署指南

opus-mt-de-nl-ascend/
├── inference.py              # 推理测试脚本
├── log.txt                  # 测试日志
├── README.md                # 本文档
├── test_sentences.txt       # 测试句子
├── precision_result.json    # 精度测试结果
└── inference_result.json    # 推理输出结果

docker exec -it test-modelagent bash

source /usr/local/Ascend/ascend-toolkit/set_env.sh

pip install transformers torch_npu sacremoses

cd /data/ysws/agentsp/5-20/opus-mt-de-nl-ascend/

python3 inference.py

cd /data/ysws/agentsp/5-20/opus-mt-de-nl-ascend/

python3 inference.py precision_test

============================================================
opus-mt-de-nl - Ascend NPU Translation Test
Output: /data/ysws/agentsp/5-20/opus-mt-de-nl-ascend
============================================================

Mode: PRECISION TEST
NPU available: True
Device: npu:0

============================================================
Loading Model and Tokenizer
============================================================
Tokenizer loaded successfully
Model loaded successfully

============================================================
Running CPU Translation
============================================================
Input:  Guten Morgen, wie geht es Ihnen?
Output: Goedemorgen, hoe gaat het?
Input:  Ich freue mich, Sie kennenzulernen.
Output: Leuk je te ontmoeten.
Input:  Das Leben ist schön wenn man es genießt.
Output: Het leven is leuk als je ervan geniet.

CPU total time: 5.4876s

============================================================
Running NPU Translation
============================================================
Input:  Guten Morgen, wie geht es Ihnen?
Output: Goedemorgen, hoe gaat het?
Input:  Ich freue mich, Sie kennenzulernen.
Output: Leuk je te ontmoeten.
Input:  Das Leben ist schön wenn man es genießt.
Output: Het leven is leuk als je ervan geniet.

NPU total time: 1.4137s
Speedup: 3.88x

============================================================
Precision Test Results
============================================================

Translation outputs match: PASS

============================================================
Test Complete!
============================================================

import torch
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

MODEL_DIR = "/data/ysws/agentsp/5-20/opus-mt-de-nl"

tokenizer = AutoTokenizer.from_pretrained(MODEL_DIR)
model = AutoModelForSeq2SeqLM.from_pretrained(MODEL_DIR)

device = torch.device("npu:0")
model = model.to(device)
model.eval()

sentences = ["Guten Morgen, wie geht es Ihnen?"]
inputs = tokenizer(sentences, return_tensors="pt", padding=True)
inputs = {k: v.to(device) for k, v in inputs.items()}

with torch.no_grad():
    outputs = model.generate(input_ids=inputs["input_ids"], attention_mask=inputs["attention_mask"], max_new_tokens=100)

translation = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(f"Translation: {translation}")

sentences = [
    "Guten Morgen, wie geht es Ihnen?",
    "Ich freue mich, Sie kennenzulernen.",
    "Das Leben ist schön wenn man es genießt."
]

inputs = tokenizer(sentences, return_tensors="pt", padding=True)
inputs = {k: v.to(device) for k, v in inputs.items()}

with torch.no_grad():
    outputs = model.generate(input_ids=inputs["input_ids"], attention_mask=inputs["attention_mask"], max_new_tokens=100)

translations = [tokenizer.decode(out, skip_special_tokens=True) for out in outputs]
for src, tgt in zip(sentences, translations):
    print(f"{src} -> {tgt}")

{
  "d_model": 512,
  "encoder_layers": 6,
  "decoder_layers": 6,
  "encoder_attention_heads": 8,
  "decoder_attention_heads": 8,
  "encoder_ffn_dim": 2048,
  "decoder_ffn_dim": 2048,
  "vocab_size": 61153,
  "max_position_embeddings": 512,
  "scale_embedding": true
}