1
gcw_xUvjaUyi/WindFM-Tokenizer-npu
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

WindFM-Tokenizer(昇腾 Ascend NPU 适配)

NeoQuasar/WindFM-Tokenizer 是 WindFM(风电场时序基础模型,GitHub: shiyu-coder/WindFM) 配套的残差量化时序分词器(Binary Spherical Quantization)。本仓库将其适配到昇腾 Ascend 910 NPU(npu:0), 用官方权重(HF: NeoQuasar/WindFM-Tokenizer)完成纯 PyTorch + torch_npu 的 tokenize 推理, 代码中不包含任何 CUDA 语句。

模型说明

  • 架构:输入 6 维风相关数值特征(wind_speed / wind_direction / power / density / temperature / pressure) → embed(6→256) → 3×TransformerBlock(RoPE 自注意力 + SwiGLU FFN)→ quant_embed(256→20) → BSQuantizer(Binary Spherical Quantization,s1=10bit + s2=10bit,group_size=5) → 3×Decoder → head(256→6)。
  • 输出:把一段数值序列 tokenize 成离散 token。
    • tokens:每时间步一个 20bit 联合码本索引(s1+s2)。
    • s1_tokens / s2_tokens:拆分的 10bit 索引(WindFM 后续预测模型分别使用 s1/s2 token)。
    • reconstruction / reconstruction_pre:用完整码本 / 仅 s1 部分重建的 6 维序列。
  • 关键配置:d_in=6, d_model=256, ff_dim=512, n_enc_layers=4, n_dec_layers=4, n_heads=4, group_size=5, s1_bits=10, s2_bits=10, beta=0.05, gamma=1.1, gamma0=1.0, zeta=0.05。
  • 权重 model.safetensors(15.8MB,约 3.96M 参数),state_dict strict 加载(missing=0, unexpected=0)。
  • 已实测:CPU 与 NPU 生成的 token 序列完全一致(量化路径确定性)。

环境

项值
NPUAscend 910(Ascend910_9362)
CANN8.5.1
torch2.9.0
torch_npu2.9.0.post1
设备npu:0(本仓库不使用任何 CUDA)

使用

1. 安装依赖

pip install -r requirements.txt

2. CLI 单次推理

权重会从 hf-mirror 自动下载并缓存到 ./model_weights/NeoQuasar__WindFM-Tokenizer,命中缓存跳过下载。

# 方式 A:直接传 6 维风电数值序列(嵌套数组,每步 6 维)
python3 inference.py --text "[[0.5,0.1,-0.2,0.3,0.0,0.4],[0.6,0.2,-0.1,0.4,0.1,0.5],[0.7,0.3,0.0,0.5,0.2,0.6]]"

# 方式 B:传扁平数值数组(长度需为 d_in=6 的整数倍)
python3 inference.py --text "[0.5,0.1,-0.2,0.3,0.0,0.4,0.6,0.2,-0.1,0.4,0.1,0.5]"

# 方式 C:不传 --text,使用内置合成正弦序列 (240, 6) 演示
python3 inference.py

输出包含:量化 token(联合 20bit)/ s1 token / s2 token 前 16 个、重建序列前 2 步、bsq_loss、latency。

3. FastAPI 服务

uvicorn inference:app --host 0.0.0.0 --port 8003
curl -s -X POST http://127.0.0.1:8003/predict \
  -H "Content-Type: application/json" \
  -d '{"text": [[0.5,0.1,-0.2,0.3,0.0,0.4],[0.6,0.2,-0.1,0.4,0.1,0.5]]}'

返回 JSON:

{
  "tokens": [1034895, 895981],
  "s1_tokens": [655, 1005],
  "s2_tokens": [1010, 874],
  "seq_len": 2,
  "d_in": 6,
  "s1_bits": 10,
  "s2_bits": 10,
  "bsq_loss": -0.053084,
  "latency_ms": 322.058,
  "device": "npu:0",
  "reconstruction": [[...6 维...], [...]],
  "reconstruction_pre": [[...6 维...], [...]]
}

NPU 适配要点

  1. 无 CUDA:代码中不出现 .cuda() / cuda: / CUDA;模型与输入 Tensor 全部迁移到 npu:0。
  2. NPU 初始化保护:入口 setup_device() 捕获 import torch_npu 失败或 npu:0 不可用, 打印清晰错误并优雅退出(exit code 1)。
  3. 权重自动下载:HF_ENDPOINT=https://hf-mirror.com,缓存目录固定 ./model_weights/NeoQuasar__WindFM-Tokenizer。
  4. 自包含:inference.py 内嵌官方模型实现(BSQuantizer / TransformerBlock / WindFMTokenizer), 无需额外克隆官方仓库。

文件结构

  • inference.py:CLI + FastAPI 双模式推理(自包含模型实现 + NPU 适配)
  • requirements.txt:依赖清单
  • .gitignore:忽略 model_weights/、logs/、__pycache__/ 等
  • assets/:NPU 部署 / 命令行推理 / FastAPI 返回的验证截图
  • model_weights/:权重缓存目录(不提交到 git)

Agent 验证截图

agent_workflow

npu_device_call

model_result