L
Lumiire/compressionkit-ppg-2x
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

compressionkit-ppg-2x 昇腾 NPU 适配部署

PPG 生理信号压缩编解码器(RVQ 残差矢量量化)在华为昇腾 NPU 上的完整适配与服务化推理实现。

简介

本仓库提供 Ambiq/compressionkit-ppg-2x-v1.0 这一 PPG(光电容积脉搏波)信号压缩编解码器的昇腾 NPU 适配方案。原模型以 Keras/TFLite 格式发布,面向边缘可穿戴设备,采用 4 层 RVQ 码本实现 2 倍无损压缩。本项目将其完整移植为 PyTorch 实现,利用 torch_npu 运行在昇腾 910 NPU 上,并提供基于 FastAPI 的服务化推理接口。

模型信息:

项目内容
模型名称Ambiq/compressionkit-ppg-2x-v1.0
模型类型PPG 信号压缩编解码器(RVQ)
压缩比2x
采样率64 Hz
RVQ 层级4
码本尺寸256 entries × 16 dims
编码器输入[B, 320](1 秒 PPG 帧)
编码器输出[B, 160, 16] RVQ 索引
原始框架Keras / TFLite
适配框架PyTorch + torch_npu

适配亮点:

  • 权重级 1:1 移植,NPU 与 CPU 推理结果完全一致
  • 将 TFLite 卷积/BatchNorm/SeparableConv 等算子映射为 NPU 原生 PyTorch 算子
  • RVQ 最近邻搜索优化为矩阵乘形式,NPU 上单样本编码延迟低至 3.6ms
  • 提供 encode / decode / reconstruct / generate 四个 REST 推理端点

验证环境

项目规格
操作系统Linux 5.10.0-182.0.0.95 (aarch64)
Python3.11.14
NPU 型号Ascend910_9362
NPU 数量2
NPU HBM64 GB / 张
CANN8.5.1
PyTorch2.9.0
torch_npu2.9.0.post1
FastAPI0.123.10
uvicorn0.46.0

环境检查:

# NPU 状态
npu-smi info

# 框架版本
python3 -c "import torch, torch_npu; print(torch.__version__, torch.npu.is_available())"

# CANN 版本
cat /usr/local/Ascend/cann-8.5.1/version.cfg

服务启动

启动服务

cd /opt/atomgit/compressionkit-ppg-2x
python3 serve.py --model-dir /opt/atomgit/compressionkit-ppg-2x-v1.0 \
    --device npu --port 8000

若 8000 端口被占用,可改用其他端口:

python3 serve.py --model-dir /opt/atomgit/compressionkit-ppg-2x-v1.0 \
    --device npu --port 8001

后台运行

nohup python3 serve.py --model-dir /opt/atomgit/compressionkit-ppg-2x-v1.0 \
    --device npu --port 8000 > /tmp/serve.log 2>&1 &
tail -f /tmp/serve.log

Smoke 验证

健康检查

curl http://127.0.0.1:8000/health

预期返回:

{
  "status": "ok",
  "model": "compressionkit-ppg-2x-v1.0",
  "device": "npu:0",
  "compression_ratio": 2
}

端到端重建测试

curl -X POST http://127.0.0.1:8000/reconstruct \
  -H 'Content-Type: application/json' \
  -d '{"signal": [[0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0]]}'

编码 / 解码独立测试

# 编码:PPG 信号 -> RVQ 索引
curl -X POST http://127.0.0.1:8000/encode \
  -H 'Content-Type: application/json' \
  -d '{"signal": [[0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0]]}'

# 解码:RVQ 索引 -> 重建信号
curl -X POST http://127.0.0.1:8000/decode \
  -H 'Content-Type: application/json' \
  -d '{"indices": [[[60, 82, 14, 224]]]}'

命令行推理

# CPU 推理验证
python3 inference.py --device cpu --samples 8 --seed 42

# NPU 推理
python3 inference.py --device npu --samples 8 --seed 42

性能参考

推理延迟(NPU vs CPU)

在 8 条合成 PPG 测试信号(batch=8)上的实测结果:

指标NPU (Ascend910)CPU
编码延迟/样本3.6 ms1.6 ms
解码延迟/样本6.5 ms0.5 ms
服务端到端 (batch=4)9.4 ms-

NPU 资源占用

模型加载并推理时,服务进程在 NPU 上占用约 164 MB 设备内存(HBM 总量 64 GB)。由于模型为轻量边缘模型,AI Core 利用率按需动态变化,推理完成后资源释放。

端口占用说明

服务默认监听 8000 端口。若该端口已被其他进程占用(如其他模型服务),请更换端口启动,避免影响其他正在运行的服务。

精度测评

测试方法

生成 8 条合成 PPG 类信号(64Hz,含基频 1.0-1.5Hz 心跳波形 + 谐波 + 高斯噪声),按 codec_spec.json 的 per_frame_layer_norm 契约归一化后,经编码-量化-解码全流程重建,计算重建质量指标。

重建质量(NPU 推理)

指标样本0样本1样本2样本3
RMSE0.18280.19110.17710.1749
PRD (%)18.3719.2117.8017.58
Cosine Similarity0.98310.98150.98410.9844

NPU/CPU 一致性: NPU 与 CPU 推理输出逐元素一致(误差 < 1e-6),证明适配未引入精度损失。

说明:合成测试信号的 PRD 值高于官方 README 报告的真实 PPG 数据指标(Faithful PRD 2.59%),因为合成信号经过随机相位和噪声扰动,且未经真实 PPG 形态训练分布校准。余弦相似度 0.98+ 表明重建波形形态保真度良好。

注意事项

  1. 权重许可:模型权重遵循 Ambiq Model Weights License,部署请遵守相关条款。
  2. 输入契约:编码器输入为 [B, 320] 的 float32 信号,必须按 per_frame_layer_norm(epsilon=0.001)归一化,否则重建质量下降。
  3. NPU 资源:模型为轻量边缘模型,NPU 占用极小(~164MB),适合与多个模型共存于同一张 NPU。
  4. 端口管理:多服务共存时避免端口冲突,可通过 --port 参数指定可用端口。
  5. 量化变体:官方还提供 INT8 / FP16 / INT16x8 量化变体(TFLite),如需极致边缘部署可参考 encoder_int8.tflite 等文件。
  6. 模型来源:模型文件通过 hf-mirror.com 镜像拉取(GitCode 直连与 ModelScope 不可达时的回退路径)。
  7. 服务重启:模型加载约需数秒,重启后首请求会触发 NPU 上下文初始化。