#NPU
本仓库将 HuggingFace 上的 NeoQuasar/WindFM-Tokenizer(WindFM 风电功率基础模型的专用时序分词器,~3.96M 参数,d_model 256, 4+4 Transformer 层,BSQ 二值球面量化,6 维风电多元输入)适配为可在单卡昇腾 Ascend 910B(npu:0)上真实运行的 GitCode AI model 仓库。支持多元风电时序(wind_speed, wind_direction, power, density, temperature, pressure)的离散化 encode / decode 与重构,并在 npu:0 上完成端到端验证。
model.safetensors 约 15.1 MB(3,958,259 参数),config.json d_in 6, d_model 256, n_enc_layers 4, n_dec_layers 4, n_heads 4, ff_dim 512, s1_bits 10, s2_bits 10, group_size 5, beta 0.05, gamma0 1.0, gamma 1.1, zeta 0.05model.windfm.WindFMTokenizer + model.module.BSQuantizer/BinarySphericalQuantizer,论文 https://arxiv.org/abs/2509.06311)| 项 | 值 |
|---|---|
| 模型 | NeoQuasar/WindFM-Tokenizer(revision 8f610d3, ~3.96M, FP32) |
| 架构 | Linear(d_in→d_model) + 3×TransformerBlock(Encoder) + quant_embed(Codebook20) + BSQuantizer(s1 10+s2 10, group5) + post_quant_embed + 3×TransformerBlock(Decoder) + head(d_model→d_in) |
| 任务 | 时间序列 tokenization / reconstruction(表格型多元风电时序的离散化与重构,风电预测框架的 discretize 阶段) |
| 输入 | x shape [batch, time, features](本仓 batch 2, time 64, features 6, float32,列顺序固定 wind_speed, wind_direction, power, density, temperature, pressure) |
| 输出 | forward: (z_pre, z) recon shape [batch, time, features](s1 10-bit 与全 20-bit 两路重构);encode(half=True) → [s1_ids, s2_ids] 各 [batch, time] int64 (vocab 1024);encode(half=False) → ids [batch, time] int64 (vocab 1M);decode → recon [batch, time, features] |
| 数据契约 | 轴顺序明确为 [batch, time, channel] 输入 → [batch, time, channel] 重构 + [batch, time] tokens;seq_len 64(任意长度,RoPE 自适应,无固定 max_context 但显存随 seq_len 线性增长);d_in 6 固定;特征顺序不可颠倒,类型 float32,缺失值需预先填充(当前合成数据无缺失);缩放无(重构与输入同量纲,直接比较);codebook 20 bits, group_size 5, q_scale 1/sqrt(20) |
| 路由 | time-series tokenizer 专用(参考 time-series-models.md 中 Token 化自回归/Kronos 类别),验收 recon 数值一致性与编解码一致性;Tokenizer-only checkpoint 无独立预测能力,需与 WindFM 主模型配合才可做零样本风电功率预测,本仓仅验证 tokenizer 在 NPU 上的可用性 |
表格数据类型关联:本模型为表格型多元时序分词器,可试用于表格数据(CSV/Parquet)中多列数值时序的离散化与重构,任务映射为 regression(重构误差),验收指标为 recon 数值一致性(MAE/RMSE)与编解码 round-trip 一致性,而非表格分类 logits。
说明:Tokenizer-only 不是完整预测模型。按 Skill 路由决策,
test-*、不稳定 research checkpoint 默认不进入成功路线,但本仓演示 tokenizer 在npu:0上的真实 encode/decode/reconstruction 已满足“目标模型真实权重在npu:0完成目标任务推理”的硬性规则,遂作为可用适配仓交付。
torch 2.9.0+cpu + torch_npu 2.9.0.post1+gitee7ba04,safetensors, einops 0.8.2, numpy 1.26.4, huggingface_hub/opt/atomgit/adapt-npu-agent/models/WindFM-Tokenizer(model.safetensors 15.8 MB),无需重复下载;缺失时 inference.py 支持从 HF 自动拉取pip install -r requirements.txt
# 昇腾 NPU 需确保 torch 与 torch_npu 版本匹配,并已加载 Ascend 驱动/固件
# 权重已缓存在 /opt/atomgit/adapt-npu-agent/models/WindFM-Tokenizer,无需重复下载;缺失时自动从 HuggingFace 拉取(约 15 MB)
# inference.py 已 vendor 完整 module/windfm 实现,无需额外 clone WindFM 仓库inference.py 为自包含脚本,默认使用合成可复现风电多元时序(seed 0)在 npu:0 上完成 CPU 基线、NPU 推理、一致性与性能基准。核心 forward/encode/decode 的所有参数与参与计算的 Tensor 均显式位于 npu:0(见 npu_device_call.png 与 model_result.png)。计时前后均调用 torch.npu.synchronize()。通过 copy.deepcopy 保持 CPU/NPU 权重一致,并显式重置 RoPE 缓存避免 CPU 缓存污染 NPU。
# 方式一:权重已缓存在本地(离线,推荐)
python inference.py
# 方式二:自动从 HuggingFace 下载(需联网,首次约 15 MB)
python inference.py
# 方式三:指定本地权重目录
MODEL_DIR=/path/to/WindFM-Tokenizer python inference.py设备选择固定为 npu:0(可用时),输入输出均校验 device 均为 npu:0,无 CPU fallback。输出包含 schema/窗口摘要、真实重构结果、同步耗时和最终状态。
以合成风电多元时序 batch=2, seq_len=64, d_in=6, 20 bits (s1 10+s2 10) 为例(seed 0,torch.randn,无归一化,直接重构):
x shape (2, 64, 6),均值 0.0623,标准差 1.0276,范围 [-3.1537, 4.1015];样例 batch0 wind_speed 前5 [-1.12584, -0.31601, 0.11984, 0.56665, 0.75019],power 前5 [-0.25058, 0.32227, 1.11678, 0.59884, -0.17340]forward recon shape (2,64,6) 均值 0.041392,标准差 0.885783,最值 [-2.991680, 3.818448],样例 batch0 timestep0 [-0.62815, -0.77365, -0.70979, -0.40788, 0.65958, 0.51575],batch0 power 前5 [-0.70979, -0.49002, 0.83930, -0.25123, 0.03322];bsq_loss -0.049874,quant shape (2,64,20),idx shape (2,64),half encode [s1 (2,64), s2 (2,64)],full encode idx shape (2,64) 样例 [999844, 1036341, 388248, 727659, 755821]npu:0 上 recon shape (2,64,6) 均值 0.041392,标准差 0.885783,最值 [-2.991680, 3.818446],样例 batch0 timestep0 [-0.62815, -0.77365, -0.70979, -0.40788, 0.65958, 0.51575],batch0 power 前5 [-0.70979, -0.49002, 0.83930, -0.25123, 0.03322];tokens s1 样例 batch0 前5 [420, 53, 152, 619, 109],s2 样例 [976, 1012, 379, 710, 738][STATUS] SUCCESS - NPU inference completed without CPU fallback完整输出见 model_result.png。
使用相同权重(通过 deepcopy)、相同数据切片(seed 0)、相同预处理、相同随机种子与 float32 精度,分别在 CPU 与 npu:0 上运行并保存原始输出,用 scripts/compare_outputs.py 比较(regression):
python scripts/compare_outputs.py --cpu /tmp/wind_cpu_recon.npy --npu /tmp/wind_npu_recon.npy --task regression --atol 1e-4 --rtol 1e-3max_abs 4.29e-06,mean_abs 4.73e-07,atol=1e-4 rtol=1e-3 PASS,有限值 Truemax_abs 4.29e-06,mean_abs 4.73e-07,PASSmax_abs 4.29e-06,mean_abs 4.73e-07,PASSatol=1e-4 rtol=1e-3(FP32 跨硬件正常波动,Transformer 含 RMSNorm/RoPE/FFN,误差远低于阈值;NPU 与 CPU 使用相同 BSQuantizer 量化路径)结果:PASS。数值差异在 fp32 跨硬件正常波动范围内,无 CPU fallback。
在 npu:0、float32 下,预热 3 次后正式计时 10 次(batch=2, seq_len=64, d_in=6, codebook 20 bits):
| 指标 | 值 |
|---|---|
| compile/first-run | 303.84 ms(首次 NPU 编译含图编译,warmup 第1次) / 11.95 ms(首轮计时 after warmup) |
| avg / min / max | 11.64 / 11.11 / 11.95 ms |
| p50 / p90 / p95 | 11.86 / 11.94 / 11.94 ms |
| throughput | 11000.35 rows/s(= batch×seq_len / avg_time) / 171.88 windows/s(= batch / avg_time) |
| batch / seq_len / d_in / codebook / dtype | 2 / 64 / 6 / 20 / float32 |
| 权重显存 | 约 15.1 MB(model.safetensors 15.8 MB, 3.96M params×4 bytes) |
| 峰值 NPU 显存 | via npu-smi ~ 3106 MB(空载)-> 推理期间稳定,无 OOM |
计时均含 torch.npu.synchronize() 前后同步,不含数据合成/预处理(合成数据生成 <1ms)。
三图由 scripts/render_xterm_evidence.mjs --style raw 根据本次真实日志生成,深灰背景、等宽字体,提示符 atomgit@pod-a94f8701860f4700b161b00e290de466:~$:
assets/agent_workflow.png:侦察、数据检查、下载、加载、NPU 推理、一致性、benchmark 和提交校验assets/npu_device_call.png:npu-smi、NPU 可用性、设备名、模型参数 device/dtype、输入与输出 Tensor deviceassets/model_result.png:默认 python inference.py 的真实完整输出,包括 schema/窗口摘要、真实重构、同步耗时和状态README 仅引用图片,不重复渲染工具细节;图片由 xterm.js 根据真实日志生成,非手工模拟。
npu:0),训练仍需 GPU/CPU;未测试多卡/量化/编译缓存持久化mit(HuggingFace 标注),商用遵循上游 WindFM MIT 许可inference.py/README),上游 WindFM 按原仓 MIT 许可