gcw_6a3w2yXz/davor-ayutthayaalpha-2.0-early-beta-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

davor/ayutthayaalpha-2.0-early-beta

#NPU

模型信息

属性值
模型名称davor/ayutthayaalpha-2.0-early-beta
任务类型transliteration(text2text-generation)
模型架构T5ForConditionalGeneration(6 层编码器 + 6 层解码器,d_model=512,8 头注意力,约 73.5M 参数)
Backendtransformers AutoTokenizer + T5ForConditionalGeneration
来源HuggingFace(权重下载于 https://huggingface.co/davor/ayutthayaalpha-2.0-early-beta )

AyutthayaAlpha 2.0 Early Beta 是面向泰国人名/机构名的泰文-拉丁文转写(transliteration)Transformer 模型。输入需加方向前缀:<latn>+泰文名 表示泰→拉丁罗马化,<thai>+拉丁文名 表示拉丁→泰文回转写。本工程将该模型适配到华为昇腾 NPU(Ascend910,npu:0),完成真实的 beam search 文本生成推理。

验证环境

以下环境信息由 collect_env.py 在本次适配执行时真实采集:

属性值
NPUAscend910_9362(npu-smi 显示 Ascend910,双芯片)
CANN25.5.5
Python3.11.14
PyTorch2.9.0+cpu
torch-npu2.9.0.post1+gitee7ba04
transformers4.57.6

安装依赖

pip install -r requirements.txt

依赖列表见 requirements.txt(torch、torch-npu、transformers、accelerate、sentencepiece、numpy)。

模型下载

从 HuggingFace 仓库 davor/ayutthayaalpha-2.0-early-beta 下载权重与配置到本地目录:

from huggingface_hub import snapshot_download

model_dir = snapshot_download("davor/ayutthayaalpha-2.0-early-beta")

下载后 tokenizer 与模型均从本地 model_dir 加载,并使用 local_files_only=True 确保离线加载、无在线 fallback。本次下载的 model.safetensors SHA-256 为 9347932a0f57dd8bd5f9c636d31d5b0e0cba9f3823a19d74ab8ce11e80e25fc7,与源一致。

推理方法

export MODEL_DIR=/path/to/model_dir
python inference.py

脚本内部按模型卡 Quickstart 执行双向转写用例:输入 <latn>/<thai> 前缀文本,generate(num_beams=5, max_length=32, min_length=2, do_sample=False) 解码,并校验模型参数、输入输出 Tensor 均位于 npu:0。

NPU 调用结果

属性值
NPU 设备Ascend910_9362
torch.npu.is_available()True
推理设备npu:0
模型参数设备npu:0(全部参数,首个参数 shared.weight,float32)
输入/输出 Tensor 设备npu:0

NPU 设备调用证据

模型推理结果

默认命令 python inference.py 的真实输出(5 个用例全部非空,Exit Code = 0):

方向输入输出耗时(同步后)
thai->latinสมชายsomchai402.6 ms
thai->latinทิพามณีthiphamani121.3 ms
thai->latinkhlai khampraphanคล้าย คำประพันธ์153.3 ms
latin->thaisomchaiสมชาย126.7 ms
latin->thaiSomchai Jaiklaไอกอมชาย236.7 ms

其中 สมชาย -> somchai、somchai -> สมชาย 与官方模型卡示例一致;khlai khampraphan 反向用例说明该 early-beta 模型对方向前缀敏感,属于上游模型行为。

模型推理结果

CPU-NPU 一致性验证

对 3 个代表性用例分别做 CPU 与 npu:0 的 encoder hidden state、decoder logits 数值一致性对比(teacher forcing),并对比 beam search 生成文本是否完全一致。判定阈值:relative L2 error < 1%。

用例encoder rel_l2logits rel_l2cosine生成文本一致判定
<latn>สมชาย0.000077%0.000071%1.00000000True(somchai)PASS
<latn>ทิพามณี0.000071%0.000048%1.00000000True(thiphamani)PASS
<thai>somchai0.000075%0.000070%1.00000000True(สมชาย)PASS

结论:CPU 与 NPU 输出数值高度一致,远低于 1% 阈值,beam search 生成结果逐 token 一致。本次验证为固定样例 smoke consistency,不是完整数据集精度评测。

性能测试

在 npu:0 上以 num_beams=5 对用例 <latn>สมชาย 做 warmup=3、runs=20 的同步计时基准:

指标值
avg_latency_ms49.56
min_latency_ms49.09
max_latency_ms50.88
p50_latency_ms49.22
p90_latency_ms50.07
p95_latency_ms50.14

已知限制

  • 上游为 early beta checkpoint,对方向前缀与拼写变体较敏感(如 khlai khampraphan 被当作泰→拉丁方向输入时输出泰文),使用时应保证前缀与文本语言匹配。
  • 模型针对姓名转写优化,不适用于通用翻译或整句转写。
  • 本仓库不包含模型权重,仅提供自包含推理脚本;运行前需自行下载权重并通过 MODEL_DIR 指定路径。
  • 本次一致性验证为固定样例验证,未做完整评测集精度评测。

Agent 适配流程

Agent 适配流程