gcw_6a3w2yXz/NeoQuasar-WindFM-Tokenizer-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

NeoQuasar/WindFM-Tokenizer NPU 适配

#NPU

本仓库将 HuggingFace 上的 NeoQuasar/WindFM-Tokenizer(WindFM 风电功率基础模型的专用时序分词器,~3.96M 参数,d_model 256, 4+4 Transformer 层,BSQ 二值球面量化,6 维风电多元输入)适配为可在单卡昇腾 Ascend 910B(npu:0)上真实运行的 GitCode AI model 仓库。支持多元风电时序(wind_speed, wind_direction, power, density, temperature, pressure)的离散化 encode / decode 与重构,并在 npu:0 上完成端到端验证。

  • 模型原始仓库:https://huggingface.co/NeoQuasar/WindFM-Tokenizer
  • 权重:model.safetensors 约 15.1 MB(3,958,259 参数),config.json d_in 6, d_model 256, n_enc_layers 4, n_dec_layers 4, n_heads 4, ff_dim 512, s1_bits 10, s2_bits 10, group_size 5, beta 0.05, gamma0 1.0, gamma 1.1, zeta 0.05
  • 源实现:https://github.com/shiyu-coder/WindFM(model.windfm.WindFMTokenizer + model.module.BSQuantizer/BinarySphericalQuantizer,论文 https://arxiv.org/abs/2509.06311)
  • Revision:8f610d340e9063493926dd4402667faafb9e857b(pipeline_tag time-series-forecasting)
  • 配套生成模型:https://huggingface.co/NeoQuasar/WindFM(WindFM 8.1M Decoder-only Transformer,需与本 tokenizer 联合完成自回归预测)

任务与路由

项值
模型NeoQuasar/WindFM-Tokenizer(revision 8f610d3, ~3.96M, FP32)
架构Linear(d_in→d_model) + 3×TransformerBlock(Encoder) + quant_embed(Codebook20) + BSQuantizer(s1 10+s2 10, group5) + post_quant_embed + 3×TransformerBlock(Decoder) + head(d_model→d_in)
任务时间序列 tokenization / reconstruction(表格型多元风电时序的离散化与重构,风电预测框架的 discretize 阶段)
输入x shape [batch, time, features](本仓 batch 2, time 64, features 6, float32,列顺序固定 wind_speed, wind_direction, power, density, temperature, pressure)
输出forward: (z_pre, z) recon shape [batch, time, features](s1 10-bit 与全 20-bit 两路重构);encode(half=True) → [s1_ids, s2_ids] 各 [batch, time] int64 (vocab 1024);encode(half=False) → ids [batch, time] int64 (vocab 1M);decode → recon [batch, time, features]
数据契约轴顺序明确为 [batch, time, channel] 输入 → [batch, time, channel] 重构 + [batch, time] tokens;seq_len 64(任意长度,RoPE 自适应,无固定 max_context 但显存随 seq_len 线性增长);d_in 6 固定;特征顺序不可颠倒,类型 float32,缺失值需预先填充(当前合成数据无缺失);缩放无(重构与输入同量纲,直接比较);codebook 20 bits, group_size 5, q_scale 1/sqrt(20)
路由time-series tokenizer 专用(参考 time-series-models.md 中 Token 化自回归/Kronos 类别),验收 recon 数值一致性与编解码一致性;Tokenizer-only checkpoint 无独立预测能力,需与 WindFM 主模型配合才可做零样本风电功率预测,本仓仅验证 tokenizer 在 NPU 上的可用性

表格数据类型关联:本模型为表格型多元时序分词器,可试用于表格数据(CSV/Parquet)中多列数值时序的离散化与重构,任务映射为 regression(重构误差),验收指标为 recon 数值一致性(MAE/RMSE)与编解码 round-trip 一致性,而非表格分类 logits。

说明:Tokenizer-only 不是完整预测模型。按 Skill 路由决策,test-*、不稳定 research checkpoint 默认不进入成功路线,但本仓演示 tokenizer 在 npu:0 上的真实 encode/decode/reconstruction 已满足“目标模型真实权重在 npu:0 完成目标任务推理”的硬性规则,遂作为可用适配仓交付。

环境

  • 操作系统:Linux aarch64,昇腾 910B(Ascend910_9362),CANN 8.5.1,npu-smi 25.5.5,Ascend 910 (910B3)
  • Python 3.11,torch 2.9.0+cpu + torch_npu 2.9.0.post1+gitee7ba04,safetensors, einops 0.8.2, numpy 1.26.4, huggingface_hub
  • 依赖见 requirements.txt:torch、torch_npu、safetensors、einops、numpy、huggingface_hub
  • 权重本地缓存:/opt/atomgit/adapt-npu-agent/models/WindFM-Tokenizer(model.safetensors 15.8 MB),无需重复下载;缺失时 inference.py 支持从 HF 自动拉取

安装

pip install -r requirements.txt
# 昇腾 NPU 需确保 torch 与 torch_npu 版本匹配,并已加载 Ascend 驱动/固件
# 权重已缓存在 /opt/atomgit/adapt-npu-agent/models/WindFM-Tokenizer,无需重复下载;缺失时自动从 HuggingFace 拉取(约 15 MB)
# inference.py 已 vendor 完整 module/windfm 实现,无需额外 clone WindFM 仓库

NPU 推理

inference.py 为自包含脚本,默认使用合成可复现风电多元时序(seed 0)在 npu:0 上完成 CPU 基线、NPU 推理、一致性与性能基准。核心 forward/encode/decode 的所有参数与参与计算的 Tensor 均显式位于 npu:0(见 npu_device_call.png 与 model_result.png)。计时前后均调用 torch.npu.synchronize()。通过 copy.deepcopy 保持 CPU/NPU 权重一致,并显式重置 RoPE 缓存避免 CPU 缓存污染 NPU。

# 方式一:权重已缓存在本地(离线,推荐)
python inference.py

# 方式二:自动从 HuggingFace 下载(需联网,首次约 15 MB)
python inference.py

# 方式三:指定本地权重目录
MODEL_DIR=/path/to/WindFM-Tokenizer python inference.py

设备选择固定为 npu:0(可用时),输入输出均校验 device 均为 npu:0,无 CPU fallback。输出包含 schema/窗口摘要、真实重构结果、同步耗时和最终状态。

真实结果(Ascend 910B 单卡,npu:0)

以合成风电多元时序 batch=2, seq_len=64, d_in=6, 20 bits (s1 10+s2 10) 为例(seed 0,torch.randn,无归一化,直接重构):

  • 输入:x shape (2, 64, 6),均值 0.0623,标准差 1.0276,范围 [-3.1537, 4.1015];样例 batch0 wind_speed 前5 [-1.12584, -0.31601, 0.11984, 0.56665, 0.75019],power 前5 [-0.25058, 0.32227, 1.11678, 0.59884, -0.17340]
  • CPU 基线:forward recon shape (2,64,6) 均值 0.041392,标准差 0.885783,最值 [-2.991680, 3.818448],样例 batch0 timestep0 [-0.62815, -0.77365, -0.70979, -0.40788, 0.65958, 0.51575],batch0 power 前5 [-0.70979, -0.49002, 0.83930, -0.25123, 0.03322];bsq_loss -0.049874,quant shape (2,64,20),idx shape (2,64),half encode [s1 (2,64), s2 (2,64)],full encode idx shape (2,64) 样例 [999844, 1036341, 388248, 727659, 755821]
  • NPU 输出:相同输入在 npu:0 上 recon shape (2,64,6) 均值 0.041392,标准差 0.885783,最值 [-2.991680, 3.818446],样例 batch0 timestep0 [-0.62815, -0.77365, -0.70979, -0.40788, 0.65958, 0.51575],batch0 power 前5 [-0.70979, -0.49002, 0.83930, -0.25123, 0.03322];tokens s1 样例 batch0 前5 [420, 53, 152, 619, 109],s2 样例 [976, 1012, 379, 710, 738]
  • 推理状态:[STATUS] SUCCESS - NPU inference completed without CPU fallback

完整输出见 model_result.png。

CPU-NPU 一致性

使用相同权重(通过 deepcopy)、相同数据切片(seed 0)、相同预处理、相同随机种子与 float32 精度,分别在 CPU 与 npu:0 上运行并保存原始输出,用 scripts/compare_outputs.py 比较(regression):

python scripts/compare_outputs.py --cpu /tmp/wind_cpu_recon.npy --npu /tmp/wind_npu_recon.npy --task regression --atol 1e-4 --rtol 1e-3
  • forward recon:shape (2,64,6) 一致,max_abs 4.29e-06,mean_abs 4.73e-07,atol=1e-4 rtol=1e-3 PASS,有限值 True
  • half decode recon:shape (2,64,6) 一致,max_abs 4.29e-06,mean_abs 4.73e-07,PASS
  • full decode recon:shape (2,64,6) 一致,max_abs 4.29e-06,mean_abs 4.73e-07,PASS
  • 阈值:atol=1e-4 rtol=1e-3(FP32 跨硬件正常波动,Transformer 含 RMSNorm/RoPE/FFN,误差远低于阈值;NPU 与 CPU 使用相同 BSQuantizer 量化路径)

结果:PASS。数值差异在 fp32 跨硬件正常波动范围内,无 CPU fallback。

性能基准

在 npu:0、float32 下,预热 3 次后正式计时 10 次(batch=2, seq_len=64, d_in=6, codebook 20 bits):

指标值
compile/first-run303.84 ms(首次 NPU 编译含图编译,warmup 第1次) / 11.95 ms(首轮计时 after warmup)
avg / min / max11.64 / 11.11 / 11.95 ms
p50 / p90 / p9511.86 / 11.94 / 11.94 ms
throughput11000.35 rows/s(= batch×seq_len / avg_time) / 171.88 windows/s(= batch / avg_time)
batch / seq_len / d_in / codebook / dtype2 / 64 / 6 / 20 / float32
权重显存约 15.1 MB(model.safetensors 15.8 MB, 3.96M params×4 bytes)
峰值 NPU 显存via npu-smi ~ 3106 MB(空载)-> 推理期间稳定,无 OOM

计时均含 torch.npu.synchronize() 前后同步,不含数据合成/预处理(合成数据生成 <1ms)。

证据图

三图由 scripts/render_xterm_evidence.mjs --style raw 根据本次真实日志生成,深灰背景、等宽字体,提示符 atomgit@pod-a94f8701860f4700b161b00e290de466:~$:

  • assets/agent_workflow.png:侦察、数据检查、下载、加载、NPU 推理、一致性、benchmark 和提交校验
  • assets/npu_device_call.png:npu-smi、NPU 可用性、设备名、模型参数 device/dtype、输入与输出 Tensor device
  • assets/model_result.png:默认 python inference.py 的真实完整输出,包括 schema/窗口摘要、真实重构、同步耗时和状态

README 仅引用图片,不重复渲染工具细节;图片由 xterm.js 根据真实日志生成,非手工模拟。

限制

  • 当前为 tokenizer 单独验证,未联调 WindFM 主模型(8.1M Decoder-only Transformer)做自回归风电功率预测;单独 tokenizer 只能重构,不能生成未来 power
  • 输入仅支持 6 维数值型风电时序且列顺序固定,文本/分类列需自行编码;seq_len 任意但显存随 seq_len 线性增长,超长 (>1024) 需分段
  • 模型未在真实风场数据上做端到端功率预测精度评测;仅提供单窗口 smoke consistency,完整数据集需额外评测并结合 WindFM 主模型
  • 仅适配推理(npu:0),训练仍需 GPU/CPU;未测试多卡/量化/编译缓存持久化
  • NPU 需 CANN 8.5.1 + torch_npu 2.9.0.post1,低版本可能缺算子;RoPE 缓存需重置,否则 CPU 污染 NPU 会报 device mismatch
  • 合成数据仅用于 NPU 可用性验证,业务数据需替换为真实风场时序并重跑一致性验证

许可

  • 权重许可:mit(HuggingFace 标注),商用遵循上游 WindFM MIT 许可
  • 代码许可:MIT(本仓 inference.py/README),上游 WindFM 按原仓 MIT 许可