liuhongwei-2026/wifi-densepose-pretrained
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

aarongid/wifi-dense-pose-pretrained 在昇腾 NPU 上的适配

1. 简介

  • 模型来源:aarongid/wifi-dense-pose-pretrained(RuView WiFi 感知 CSI 编码器)
  • 参数量:9,280(编码器 8→64→128),另有 presence 检测头与 rank-4 LoRA 房间适配器
  • 模型任务:将每帧 8 维 WiFi CSI(信道状态信息)特征映射为 128 维 L2 归一化嵌入(自监督对比学习);可附加存在性检测(P(present))与按房间的 LoRA 适配
  • 适配状态:成功
  • 适配时间:2026-08-22

说明:仓库名虽含 "densepose",但模型并不包含 DensePose / 姿态估计参数,而是 WiFi 感知(WiFi sensing)编码器(见模型卡 §7 "What this does not claim")。本仓库按模型实际用途适配。

2. 验证环境

组件版本
NPUAscend 910B(Ascend910_9362)
CANN8.5.1
torch2.9.0
torch-npu2.9.0.post1
numpy1.26.4
safetensors0.7.0
fastapi / uvicorn0.123.10 / 0.46.0
Python3.11.14

3. 模型说明

RuView 是一个 WiFi 感知(WiFi sensing)自监督对比学习模型:WiFi 信号被 ESP32-S3 采集后,传感服务器逐帧提取 8 维 CSI 特征,再由编码器映射为 128 维 L2 归一化嵌入:

WiFi signals → ESP32-S3 → 8-dim CSI features @ 1Hz → Encoder → 128-dim embedding
                                                          ↓
                                              presence 头 / 活动头 / 生命体征头

8 维特征语义:

Dim特征含义
0presence信号扰动程度(人在附近)
1motion信号变化速率(走路 > 打字 > 静止)
2breathing胸廓运动调制的子载波相位(6-30 BPM)
3heart_rate血脉冲微多普勒(40-120 BPM)
4phase_variance相位方差(信号质量)
5person_count独立运动簇数量
6fall跌倒检测
7rssi信号强度

架构:Linear(8→64) → BatchNorm1d(64) → GELU → Linear(64→128) → BatchNorm1d(128) → L2 normalize。

附加组件:

  • presence-head.json:128 维权重 + bias 的线性头,对嵌入做 sigmoid 输出 P(present);
  • node-1.json / node-2.json:按房间(node)训练的 rank-4 LoRA 适配器(loraA [128,4]、loraB [4,128]、scaling = alpha/rank = 2),对嵌入做残差微调。

注:模型是判别式编码器而非自回归生成模型,vLLM-Ascend(自回归文本生成引擎)无法加载。本仓库通过 torch_npu 直接在 Ascend NPU 上运行,并用 FastAPI 提供 OpenAI 兼容的服务化推理。

4. 适配说明

  • 算子全部为标准 PyTorch(Linear / BatchNorm1d / GELU / L2-normalize),无 CUDA-only 依赖,torch_npu 直接映射到 NPU AICore,代码零改动;
  • 权重以 fp32 加载(safetensors 原生精度),避免 bf16/fp16 精度损失;
  • 输入固定为 8 维 CSI 特征向量(逐帧),支持任意 batch;
  • presence 头 / LoRA 房间适配器均为可选:权重目录中存在对应 JSON 时自动加载,可用 --node node-1 指定房间适配;
  • 权重通过 Git LFS batch API 从镜像仓 https://atomgit.com/hf_mirrors/aarongid/wifi-dense-pose-pretrained 拉取(环境无 git-lfs)。

5. 目录结构

wifi-densepose-pretrained/
├── inference.py        # 推理脚本(CLI / 基准 / FastAPI 服务化)
├── README.md           # 本说明文档
├── requirements.txt    # 环境依赖清单
└── assets/             # 截图素材
    ├── agent_workflow.png
    ├── npu_device_call.png
    └── model_result.png

6. 环境准备

# 建议配置华为镜像源加速
export PIP_INDEX_URL=https://repo.huaweicloud.com/repository/pypi/simple/

pip install -r requirements.txt

权重目录(config.json / csi-embed-v2.safetensors / presence-head.json / node-1.json / node-2.json)放置于 /opt/atomgit/models/wifi-densepose-pretrained,也可通过 --model-path 指定其它位置。来源:https://huggingface.co/aarongid/wifi-dense-pose-pretrained(镜像 https://atomgit.com/hf_mirrors/aarongid/wifi-dense-pose-pretrained)。

7. 使用方式

7.1 单帧推理(默认示例)

python3 inference.py --model-path /opt/atomgit/models/wifi-densepose-pretrained \
    --device npu:0

7.2 指定 8 维 CSI 特征

python3 inference.py --model-path /opt/atomgit/models/wifi-densepose-pretrained \
    --device npu:0 --features "0.42,0.31,-0.15,0.08,0.12,0.50,0.0,-0.55"

7.3 批量推理(JSON 文件)

python3 inference.py --model-path /opt/atomgit/models/wifi-densepose-pretrained \
    --device npu:0 --input-file batch.json
# batch.json: [[f0,...,f7], [f0,...,f7], ...] 或 {"features": [[...], ...]}

7.4 房间 LoRA 适配

python3 inference.py --model-path /opt/atomgit/models/wifi-densepose-pretrained \
    --device npu:0 --node node-1

7.5 精度 / 性能基准(CPU 参考 vs NPU 余弦相似度)

python3 inference.py --benchmark --model-path /opt/atomgit/models/wifi-densepose-pretrained \
    --device npu:0 --n-runs 30 --batch 32

7.6 服务化推理(FastAPI,OpenAI 兼容)

python3 inference.py --serve --model-path /opt/atomgit/models/wifi-densepose-pretrained \
    --port 8000 --device npu:0
# 模型列表
curl http://127.0.0.1:8000/v1/models

# 单帧推理
curl http://127.0.0.1:8000/v1/predict -H 'Content-Type: application/json' \
    -d '{"features": [0.42, 0.31, -0.15, 0.08, 0.12, 0.50, 0.0, -0.55]}'

# 批量推理 + node-1 房间 LoRA
curl http://127.0.0.1:8000/v1/predict -H 'Content-Type: application/json' \
    -d '{"batch": [[0.42,0.31,-0.15,0.08,0.12,0.5,0.0,-0.55],[0.1,0.05,0.2,0.0,0.0,0.1,0.0,-0.9]], "node": "node-1"}'

# OpenAI 兼容 chat 接口(content 为 8 维特征)
curl http://127.0.0.1:8000/v1/chat/completions -H 'Content-Type: application/json' \
    -d '{"model": "aarongid/wifi-dense-pose-pretrained", "messages": [{"role": "user", "content": "0.42,0.31,-0.15,0.08,0.12,0.50,0.0,-0.55"}]}'

7.7 服务端点一览

方法路径说明
GET/v1/models模型列表(含 hardware=NPU)
POST/v1/predict单/批量 8 维特征推理(可选 node LoRA)
POST/v1/chat/completionsOpenAI 兼容包装
GET/v1/health / /health健康检查

8. 实测结果(Ascend 910B NPU)

指标结果
参数量9,280
输入8 维 CSI 特征(定长)
输出128 维 L2 归一化嵌入 + P(present)
平均延迟(batch 32,30 次)~0.26 ms
峰值 HBM 增量<0.01 GB(模型仅 ~40 KB)
NPU vs CPU 余弦相似度1.0
示例嵌入 L2 范数1.0
示例存在性概率 P(present)0.999608(判定 present)

9. 参考

  • 模型卡片:https://huggingface.co/aarongid/wifi-dense-pose-pretrained
  • 镜像仓库:https://atomgit.com/hf_mirrors/aarongid/wifi-dense-pose-pretrained
  • 上游代码:https://github.com/ruvnet/RuView
  • 许可:MIT