#NPU
| 属性 | 值 |
|---|---|
| 模型名称 | davor/ayutthayaalpha-2.0-early-beta |
| 任务类型 | transliteration(text2text-generation) |
| 模型架构 | T5ForConditionalGeneration(6 层编码器 + 6 层解码器,d_model=512,8 头注意力,约 73.5M 参数) |
| Backend | transformers AutoTokenizer + T5ForConditionalGeneration |
| 来源 | HuggingFace(权重下载于 https://huggingface.co/davor/ayutthayaalpha-2.0-early-beta ) |
AyutthayaAlpha 2.0 Early Beta 是面向泰国人名/机构名的泰文-拉丁文转写(transliteration)Transformer 模型。输入需加方向前缀:<latn>+泰文名 表示泰→拉丁罗马化,<thai>+拉丁文名 表示拉丁→泰文回转写。本工程将该模型适配到华为昇腾 NPU(Ascend910,npu:0),完成真实的 beam search 文本生成推理。
以下环境信息由 collect_env.py 在本次适配执行时真实采集:
| 属性 | 值 |
|---|---|
| NPU | Ascend910_9362(npu-smi 显示 Ascend910,双芯片) |
| CANN | 25.5.5 |
| Python | 3.11.14 |
| PyTorch | 2.9.0+cpu |
| torch-npu | 2.9.0.post1+gitee7ba04 |
| transformers | 4.57.6 |
pip install -r requirements.txt依赖列表见 requirements.txt(torch、torch-npu、transformers、accelerate、sentencepiece、numpy)。
从 HuggingFace 仓库 davor/ayutthayaalpha-2.0-early-beta 下载权重与配置到本地目录:
from huggingface_hub import snapshot_download
model_dir = snapshot_download("davor/ayutthayaalpha-2.0-early-beta")下载后 tokenizer 与模型均从本地 model_dir 加载,并使用 local_files_only=True 确保离线加载、无在线 fallback。本次下载的 model.safetensors SHA-256 为 9347932a0f57dd8bd5f9c636d31d5b0e0cba9f3823a19d74ab8ce11e80e25fc7,与源一致。
export MODEL_DIR=/path/to/model_dir
python inference.py脚本内部按模型卡 Quickstart 执行双向转写用例:输入 <latn>/<thai> 前缀文本,generate(num_beams=5, max_length=32, min_length=2, do_sample=False) 解码,并校验模型参数、输入输出 Tensor 均位于 npu:0。
| 属性 | 值 |
|---|---|
| NPU 设备 | Ascend910_9362 |
| torch.npu.is_available() | True |
| 推理设备 | npu:0 |
| 模型参数设备 | npu:0(全部参数,首个参数 shared.weight,float32) |
| 输入/输出 Tensor 设备 | npu:0 |

默认命令 python inference.py 的真实输出(5 个用例全部非空,Exit Code = 0):
| 方向 | 输入 | 输出 | 耗时(同步后) |
|---|---|---|---|
| thai->latin | สมชาย | somchai | 402.6 ms |
| thai->latin | ทิพามณี | thiphamani | 121.3 ms |
| thai->latin | khlai khampraphan | คล้าย คำประพันธ์ | 153.3 ms |
| latin->thai | somchai | สมชาย | 126.7 ms |
| latin->thai | Somchai Jaikla | ไอกอมชาย | 236.7 ms |
其中 สมชาย -> somchai、somchai -> สมชาย 与官方模型卡示例一致;khlai khampraphan 反向用例说明该 early-beta 模型对方向前缀敏感,属于上游模型行为。

对 3 个代表性用例分别做 CPU 与 npu:0 的 encoder hidden state、decoder logits 数值一致性对比(teacher forcing),并对比 beam search 生成文本是否完全一致。判定阈值:relative L2 error < 1%。
| 用例 | encoder rel_l2 | logits rel_l2 | cosine | 生成文本一致 | 判定 |
|---|---|---|---|---|---|
<latn>สมชาย | 0.000077% | 0.000071% | 1.00000000 | True(somchai) | PASS |
<latn>ทิพามณี | 0.000071% | 0.000048% | 1.00000000 | True(thiphamani) | PASS |
<thai>somchai | 0.000075% | 0.000070% | 1.00000000 | True(สมชาย) | PASS |
结论:CPU 与 NPU 输出数值高度一致,远低于 1% 阈值,beam search 生成结果逐 token 一致。本次验证为固定样例 smoke consistency,不是完整数据集精度评测。
在 npu:0 上以 num_beams=5 对用例 <latn>สมชาย 做 warmup=3、runs=20 的同步计时基准:
| 指标 | 值 |
|---|---|
| avg_latency_ms | 49.56 |
| min_latency_ms | 49.09 |
| max_latency_ms | 50.88 |
| p50_latency_ms | 49.22 |
| p90_latency_ms | 50.07 |
| p95_latency_ms | 50.14 |
khlai khampraphan 被当作泰→拉丁方向输入时输出泰文),使用时应保证前缀与文本语言匹配。MODEL_DIR 指定路径。