r
redannancy/ruv-ruview
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

ruv/ruview - WiFi CSI 人体姿态估计模型

概述

ruv/ruview 属于一种新型的感知模型,它利用 WiFi 信号的信道状态信息(CSI)来推断室内空间中人的位置坐标。与传统基于摄像头或传感器的方案不同,这种方式不需要被感知者佩戴任何设备,也不需要安装专用摄像头,仅依靠环境中已有的 WiFi 信号就能完成人体存在检测和位置估计。

该模型采用 sona-lora 架构,核心是一个 8-64-128 的三层编码器网络,附加了 LoRA 低秩适配模块用于提升泛化能力。整个模型权重仅 48KB,参数量 11458,非常适合部署在资源受限的边缘设备上。

本次适配将模型部署到了华为昇腾 Ascend910 NPU 上,实现了完整的推理服务化。

运行环境

本次适配的硬件平台为华为 Atlas 800 训练服务器,具体配置如下:

  • NPU 芯片: Ascend910 x 2(卡 ID 7),每颗芯片 HBM 64GB
  • 系统架构: aarch64
  • 内存: 229GB

软件方面,依赖的核心组件包括:

  • CANN 8.5.1(昇腾计算基础平台)
  • PyTorch 2.9.0(CPU 版本)配合 torch_npu 2.9.0.post1
  • vLLM 0.18.0 / vllm-ascend 0.18.0(作为推理加速框架引入)
  • safetensors 0.4.0(权重加载)
  • FastAPI + uvicorn(HTTP 服务化)

模型本身的关键参数为:输入 8 维 CSI 特征向量、隐藏层 64 维、嵌入层 128 维、LoRA 秩 8、训练数据包含 60630 帧和 610615 个三元组。

部署方式

由于模型并非标准 Transformer 架构,因此无法直接使用 vLLM 的 serve 命令加载。实际部署采用了两层方案:

  1. 底层使用 PyTorch 定义模型结构,通过 torch_npu 将模型迁移到 NPU 上执行
  2. 上层使用 FastAPI 封装 REST API,对外提供 HTTP 推理接口

启动服务的命令如下:

python3 server.py

服务启动后监听 8000 端口,提供三个接口:/health 用于健康检查,/v1/models 查询模型信息,/v1/inference 执行推理。

如果只是想快速验证推理功能,也可以直接运行单次推理脚本:

python3 inference.py

这个脚本会自动完成从环境检查到推理输出的全流程。

功能验证

部署完成后,可以通过以下几个步骤验证服务是否正常运行:

第一步,检查服务健康状态:

curl http://localhost:8000/health

返回结果中 status 为 "ok" 且 model_loaded 为 true 时表示服务正常。

第二步,查询可用模型:

curl http://localhost:8000/v1/models

第三步,发送推理请求:

curl -X POST http://localhost:8000/v1/inference \
  -H "Content-Type: application/json" \
  -d '{"input": [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8]}'

验证时需注意两个关键点:模型加载日志应显示"成功加载 17 个权重参数";推理延迟应在 0.5ms 以内。

性能数据

在 Ascend910 NPU 上进行的性能测试数据如下:

模型加载和预热总耗时约 1.25 秒,这部分属于一次性开销。预热完成后,单次推理延迟稳定在 0.33ms 到 0.41ms 之间。对于这么小的模型来说,这个延迟表现符合预期。

NPU 资源占用情况:模型本身在 NPU 上仅分配了 0.05MB 显存,缓存占用 2MB,整个 Python 进程占用系统内存约 120MB。HBM 使用率约 4%,AICore 在推理时瞬时占用后迅速归零。

考虑到 0.4ms 的推理延迟,理论上单卡可以支撑每秒超过 2000 次推理请求,但在实际生产环境中,网络传输和序列化开销会成为新的瓶颈。

精度说明

在进行精度验证时,需要特别关注权重加载的正确性。原始权重文件存在两个需要注意的兼容性问题:

第一,权重文件中的编码器参数以扁平化一维数组存储(encoder.w1 长度 512,encoder.w2 长度 8192),加载时需要根据目标 Linear 层的输入输出维度重塑为正确的二维矩阵。

第二,LoRA 矩阵的存储顺序与 PyTorch 的 Linear 权重约定相反,lora.A 和 lora.B 在加载时自动做了转置处理。

经过脚本自动处理,全部 17 个权重参数均成功加载,未出现缺失或形状不匹配的情况。

在推理输出方面,对于随机生成的 CSI 输入,模型输出的嵌入向量前两维被映射为坐标预测值。presence_score 字段的值可以用来判断输入信号中是否包含人体信息,当该值接近 1 时表示检测到存在信号。

需要注意的问题

  1. 原始 safetensors 文件下载后可能无法直接加载,原因是 JSON 头部的末尾有多余的空字节。如果遇到 SafetensorError,需要先对权重文件执行头部修复(移除尾部空字节后重新序列化)。

  2. 此模型不是大语言模型,vLLM 的标准模型注册表中没有对应的架构,无法用 vllm serve 直接部署。目前的方案是绕开 vLLM 的模型管理,直接用 PyTorch 加载权重后通过 torch_npu 在 NPU 上执行。

  3. 模型输入限定为 8 维浮点向量,使用时需要配合 CSI 信号采集前端进行数据预处理,将原始 WiFi 信号转换为 8 维特征向量。

  4. 默认使用 NPU 7 的 Chip 0(设备索引 npu:0),如需使用其他 NPU 芯片,在代码中修改 device 参数即可。

  5. 坐标预测值的范围取决于训练时使用的标注数据空间,不是归一化的 0-1 范围。实际部署时如果发现坐标值异常,需要检查是否与训练数据的标注空间一致。