NeoQuasar/WindFM-Tokenizer 是 WindFM(风电场时序基础模型,GitHub: shiyu-coder/WindFM)
配套的残差量化时序分词器(Binary Spherical Quantization)。本仓库将其适配到昇腾 Ascend 910 NPU(npu:0),
用官方权重(HF: NeoQuasar/WindFM-Tokenizer)完成纯 PyTorch + torch_npu 的 tokenize 推理,
代码中不包含任何 CUDA 语句。
embed(6→256) → 3×TransformerBlock(RoPE 自注意力 + SwiGLU FFN)→ quant_embed(256→20)
→ BSQuantizer(Binary Spherical Quantization,s1=10bit + s2=10bit,group_size=5)
→ 3×Decoder → head(256→6)。tokens:每时间步一个 20bit 联合码本索引(s1+s2)。s1_tokens / s2_tokens:拆分的 10bit 索引(WindFM 后续预测模型分别使用 s1/s2 token)。reconstruction / reconstruction_pre:用完整码本 / 仅 s1 部分重建的 6 维序列。d_in=6, d_model=256, ff_dim=512, n_enc_layers=4, n_dec_layers=4, n_heads=4,
group_size=5, s1_bits=10, s2_bits=10, beta=0.05, gamma=1.1, gamma0=1.0, zeta=0.05。model.safetensors(15.8MB,约 3.96M 参数),state_dict strict 加载(missing=0, unexpected=0)。| 项 | 值 |
|---|---|
| NPU | Ascend 910(Ascend910_9362) |
| CANN | 8.5.1 |
| torch | 2.9.0 |
| torch_npu | 2.9.0.post1 |
| 设备 | npu:0(本仓库不使用任何 CUDA) |
pip install -r requirements.txt权重会从 hf-mirror 自动下载并缓存到 ./model_weights/NeoQuasar__WindFM-Tokenizer,命中缓存跳过下载。
# 方式 A:直接传 6 维风电数值序列(嵌套数组,每步 6 维)
python3 inference.py --text "[[0.5,0.1,-0.2,0.3,0.0,0.4],[0.6,0.2,-0.1,0.4,0.1,0.5],[0.7,0.3,0.0,0.5,0.2,0.6]]"
# 方式 B:传扁平数值数组(长度需为 d_in=6 的整数倍)
python3 inference.py --text "[0.5,0.1,-0.2,0.3,0.0,0.4,0.6,0.2,-0.1,0.4,0.1,0.5]"
# 方式 C:不传 --text,使用内置合成正弦序列 (240, 6) 演示
python3 inference.py输出包含:量化 token(联合 20bit)/ s1 token / s2 token 前 16 个、重建序列前 2 步、bsq_loss、latency。
uvicorn inference:app --host 0.0.0.0 --port 8003curl -s -X POST http://127.0.0.1:8003/predict \
-H "Content-Type: application/json" \
-d '{"text": [[0.5,0.1,-0.2,0.3,0.0,0.4],[0.6,0.2,-0.1,0.4,0.1,0.5]]}'返回 JSON:
{
"tokens": [1034895, 895981],
"s1_tokens": [655, 1005],
"s2_tokens": [1010, 874],
"seq_len": 2,
"d_in": 6,
"s1_bits": 10,
"s2_bits": 10,
"bsq_loss": -0.053084,
"latency_ms": 322.058,
"device": "npu:0",
"reconstruction": [[...6 维...], [...]],
"reconstruction_pre": [[...6 维...], [...]]
}.cuda() / cuda: / CUDA;模型与输入 Tensor 全部迁移到 npu:0。setup_device() 捕获 import torch_npu 失败或 npu:0 不可用,
打印清晰错误并优雅退出(exit code 1)。HF_ENDPOINT=https://hf-mirror.com,缓存目录固定 ./model_weights/NeoQuasar__WindFM-Tokenizer。inference.py 内嵌官方模型实现(BSQuantizer / TransformerBlock / WindFMTokenizer),
无需额外克隆官方仓库。inference.py:CLI + FastAPI 双模式推理(自包含模型实现 + NPU 适配)requirements.txt:依赖清单.gitignore:忽略 model_weights/、logs/、__pycache__/ 等assets/:NPU 部署 / 命令行推理 / FastAPI 返回的验证截图model_weights/:权重缓存目录(不提交到 git)

