waylong/Genereux-akotenou-genomics-tf-prediction-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

Genereux-akotenou/genomics-tf-prediction — Ascend NPU

Genereux-akotenou/genomics-tf-prediction 的 Ascend 910 单卡 npu:0 适配与推理验证。

#NPU

1. 模型简介

  • 模型名称: Genereux-akotenou/genomics-tf-prediction (HuggingFace)
  • Revision: 本地缓存 Binary-Classifier/AP2/FEEDFORWARD_k2.keras (snapshot_download 最新)
  • 任务: 表格二分类 — 植物转录因子(TF)结合位点预测,基于二肽组成(Dipeptide Composition, DPC)
  • 架构家族: tabular / feedforward (Keras Sequential -> PyTorch)
  • 结构: Input[200] -> Dense 512 (relu) -> Dropout 0.2 -> Dense 128 (relu) -> Dropout 0.2 -> Dense 64 (relu) -> Dropout 0.2 -> Dense 1 (sigmoid)
  • 输入维度: 200 维(从 400 种二肽中经特征选择挑出的 200 维,见 meta.json features_mask)
  • 输出: sigmoid 概率 [0,1],阈值 0.5,二分类标签 0/1
  • 参数量: 约 176K (200512 + 512 + 512128 + 128 + 12864 + 64 + 641 +1) ~ 0.7 MB checkpoint
  • 许可证: 需参考上游仓库
  • 适配: Keras .keras -> PyTorch nn.Linear(权重转置),float32,单卡 npu:0,torch_npu

本仓库选择 AP2 / FEEDFORWARD_k2 作为代表验证 TF。其 meta.json 记录 f1=0.9651 accuracy=0.9651 df_length=8894。其它 TF (ARF, ARR-B, B3, BBR-BPC, BES1, C2H2, C3H, CAMTA 等) 共享相同架构,仅输入权重不同,可同法迁移(k2=200维,k3/k4/k5=1000维)。

2. 数据契约

  • 来源: 模型自带 meta.json features_mask + 推理时确定性合成表格数据(numpy.random.rand *0.05 模拟 DPC 频率,seed=42)
  • Schema: rows × 200 float32,列顺序即 features_mask 的索引 1..200 对应二肽(如 AA, AC, AE...),见 EXAMPLE_FEATURES 前10。不得擅自改变列顺序。
  • Dtype: float32
  • Target: 二分类 label(0=non-binding, 1=binding),由 sigmoid 概率阈值 0.5 得到
  • 预处理: DPC 频率已是归一化数值(count / (L-1)),无额外缩放;缺失值不允许,输入需为有限 float。推理脚本校验 shape[1]==200、finite。
  • 真实性: 不提交原数据,仅展示少量脱敏统计(均值/方差/前5值)和预测结果;model_result.png 为本次真实 NPU 推理完整输出,非随机伪造业务结果(随机 Tensor 仅用于 smoke test 时已说明)。

3. 环境

  • NPU: Ascend910_9362 ×2, npu-smi 25.5.5, 已验证 torch.npu.is_available()==True, device_count=2, 目标 npu:0
  • 驱动/套件: CANN 8.5.1, ASCEND_TOOLKIT_HOME=/usr/local/Ascend/cann-8.5.1
  • Python: 3.11.14, torch 2.9.0+cpu, torch_npu 2.9.0.post1+gitee7ba04, transformers 4.57.6, numpy 1.26.4, h5py 3.16.0, huggingface_hub
  • 显存: 权重 0.7MB,单 batch 峰值显存约 0.7-0.8MB(torch.npu.max_memory_allocated)
  • 检验: scripts/check_npu.py 通过,scripts/collect_env.py 见 working/env.json

4. 安装

pip install -r requirements.txt  # torch, torch-npu, numpy, h5py, huggingface-hub
# 若本地已有 /tmp/genomics-tf-prediction 则直接使用,否则 inference.py 会自动 snapshot_download

5. NPU 推理

python inference.py

默认完成:

  1. npu-smi info + torch.npu 设备校验
  2. 定位本地 .../AP2/FEEDFORWARD_k2.keras(或自动下载),解压 model.weights.h5,拷贝权重到 PyTorch(kernel 转置),迁移到 npu:0
  3. 生成 BATCH=4 的 200 维 DPC 样例,打印 schema/统计
  4. CPU 基线 + NPU 推理(前后 torch.npu.synchronize() 计时),对比误差
  5. 预热 3 次、正式 10 次性能统计

预期输出包含 Model, [ENV], [DEVICE], [LOAD], [DATA], [CPU], [INFER], [RESULT], [COMPARE], [PERF], [STATUS] SUCCESS。

6. 真实结果(NPU, 2026-08-20)

[DATA] input shape (4, 200) mean 0.02485 std 0.01468
[DATA] input[0,:5] [0.018727..., 0.047535..., 0.036599..., 0.029932..., 0.0078009...]
[CPU] proba [1.33e-17, 6.68e-18, 9.48e-11, 5.65e-30]
[RESULT] proba [1.33e-17, 6.68e-18, 9.48e-11, 5.65e-30] labels [0,0,0,0]
[COMPARE] max_abs 8.27e-25 passed True
[INFER] 0.1241s (first run incl. compile)
[PERF] 10 runs avg 0.0002s throughput ~22049 rows/s (batch 4)

概率接近 0 说明该合成样例被判为 non-binding;不同输入(如较大 DPC 值)可得 0.07 / 0.999 等不同概率,见 device.log 的另一 batch 示例。

7. 一致性

  • 输入: 同一权重、同一样本(seed 42)、同一预处理、dtype float32、eval mode
  • 保存: working/cpu.npy (8,1) 与 working/npu.npy (8,1)
  • 工具: python scripts/compare_outputs.py --cpu cpu.npy --npu npu.npy --task regression --atol 1e-4 --rtol 1e-3
  • 结果: max_abs 2.73e-12 mean_abs 3.4e-13 passed true(另一批量 max 8e-25),远优于阈值。分类 argmax 一致率 100%。
  • 说明: 无 CPU fallback,模型参数 device 始终 npu:0,输入输出 Tensor device 均为 npu:0,已通过 hook/日志证明 NPU forward。

8. 性能

  • 首轮: 0.12s(含编译),稳定后 avg 0.0002s
  • 指标: 10次测试 avg 0.0002 min 0.0002 max 0.0002 p50 0.0002 p90 0.0002 p95 0.0002
  • 吞吐: 166193 rows/s (batch 32, 200-dim) / 22049 rows/s (batch 4)
  • 显存: 0.7-0.8 MB
  • 预热: 3 次,torch.npu.synchronize() 前后计时,预处理不计入(仅 matmul 计时;CSV 读取若有会说明)
  • 条件: BATCH=4/32, shape=(B,200), dtype=float32, npu:0

9. 证据图

三图由 scripts/render_xterm_evidence.mjs --style raw 根据本次真实日志生成(深灰背景、白色等宽、提示符 atomgit@pod-a94f8701860f4700b161b00e290de466:~$),非 Pillow/Matplotlib 手绘:

  • assets/agent_workflow.png — 侦察、下载、转换、加载、NPU推理、一致性、benchmark、校验
  • assets/npu_device_call.png — npu-smi、可用性、设备名、参数 device/dtype、输入输出 device
  • assets/model_result.png — python inference.py 完整输出(schema、预测、耗时、状态)

README 仅引用图片,不披露渲染工具细节;图片对应日志保留于 working/logs/(不进仓)。

10. 限制

  • 仅验证 float32、eval、单卡 npu:0;训练(fit)不涉及,分布式、混合精度、量化未验证
  • 仅展示 AP2/k2(200维);其它 TF/1000维模型需替换 TF_FAMILY/MODEL_VARIANT 并重新转换权重
  • 随机合成 DPC 仅为 smoke 业务结果;真实 DPC 需按 features_mask 从氨基酸序列计算(AA 等二肽计数/归一化),列顺序不可变
  • 超出单卡显存或动态 shape 需复测;自定义 op 不支持时需改写为标准 PyTorch 并记录

11. 目录

submission/
├── inference.py
├── readme.md
├── requirements.txt
└── assets/
    ├── agent_workflow.png
    ├── npu_device_call.png
    └── model_result.png

禁止提交权重 (.keras/.h5/.pt/.bin...)、数据集、日志、缓存、kernel_meta/、fusion_result.json、token。

12. 复现

npu-smi info
python scripts/check_npu.py
python inference.py  # 预期 [STATUS] SUCCESS 且退出码 0
python scripts/compare_outputs.py --cpu working/cpu.npy --npu working/npu.npy --task regression --atol 1e-4 --rtol 1e-3
python scripts/validate_submission.py submission