gcw_mXoV1I2Z/profusion_pr
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

profusion_pr — 昇腾 NPU 适配仓库

模型信息

  • 原始模型: siyan824/profusion_pr (HuggingFace)
  • 权重文件: model.safetensors (2.16 GB, 约 540M 参数 fp32) + config.json({}) + profusion_pr.pth(等价)
  • 模型类型: 多视图 / 点云融合姿态估计 (ProFusion),输入图像与点云特征,输出 SE(3) 位姿 (旋转矩阵 3×3 + 平移向量 3)
  • 原仓库无代码 / README / 有效 config,本仓库按权重键名从 model.safetensors 逆向重建等价推理结构 (modeling_profusion.py)。

逆向重建结构 (897 tensors)

模块结构说明
patch_embed.projConv2d(3 → 1024, kernel=16, stride=16)图像 patch 化 → 1024 维 token
enc_blocks24 × Block(1024)自注意力 (qkv=3072×1024, proj=1024×1024) + MLP(fc1=4096, fc2) + LayerNorm×2
enc_normLayerNorm(1024)编码器输出归一化
ponit_embedderConv2d(3 → 768, kernel=16, stride=16)点云网格 patch 化 → 768 维 token(原文拼写 ponit=point)
void_pe_token[1, 1, 768] 可学习参数"空视图"位置编码 token
decoder_embedLinear(1024 → 768)编码器特征投影到解码器维度
mv_dec_blocks112 × MVDecoderBlock(768)自注意力 + cross_attn(projq/projk/projv/proj) + MLP(fc1=3072) + LayerNorm(norm1/norm2/norm3/norm_y)
mv_dec_blocks212 × MVDecoderBlock(768)同上,第二解码器堆栈
dec_normLayerNorm(768)解码器输出归一化
pose_downstream_head2proj(768→1024) + more_mlps(1024) + res_conv(2× 1×1 残差卷积) + fc_rot(→9) + fc_t(→3)位姿回归头:旋转矩阵(9D) + 平移(3D)

前向数据流

image (RGB 224×224)            point_grid (合成 3 通道点云网格)
  │ patch_embed                    │ ponit_embedder
  ▼ [B,196,1024]                   ▼ [B,196,768]
enc_blocks(24) → enc_norm      ┌───┘
  │ decoder_embed                ▼
  ▼ [B,196,768]  context    query = cat([point_tokens, void_pe_token]) → [B,197,768]
  mv_dec_blocks1(12)  (自注意力 + 对图像 context 的交叉注意力)
  mv_dec_blocks2(12)
  dec_norm → 均值池化 [B,768]
  pose_downstream_head2 → rotation [B,3,3] + translation [B,3]

适配说明

  • 设备: 昇腾 Ascend910 (torch_npu), 默认 npu:1。
  • 全代码域无任何 CUDA 调用;模型与输入 Tensor 全部 .to("npu:1")。
  • 顶部 try-except 捕获 NPU 初始化失败并报错退出,不做 CPU/CUDA 回退。
  • 权重加载 load_state_dict(strict=False): missing=0, unexpected=0,897 个 tensor 全部真实加载。
  • 输入为合成图像特征 + 由图像导出的点云网格特征(无原推理代码,README 如实说明假设)。
  • 前向使用 torch.inference_mode(),结束 torch.npu.synchronize(),输出 .cpu() 序列化。

使用

pip install -r requirements.txt

# CLI 推理 (单图, 默认 npu:1)
python inference.py --img test_input.png --device npu:1 --output_json result.json

# FastAPI 服务
NPU_DEVICE=npu:1 python inference.py --serve --port 8005
curl -s -F "file=@test_input.png" http://127.0.0.1:8005/predict

输出 JSON

{
  "pred_pose": {
    "rotation_3x3": [[...],[...],[...]],
    "rotation_angle_deg": 119.3052,
    "rotation_axis": [-0.50832, -0.76487, 0.39572],
    "translation_xyz": [0.98081, -0.32433, 0.10136]
  },
  "architecture": { "encoder_depth": 24, "decoder_depth_1": 12, "decoder_depth_2": 12 },
  "inference_ms": 261.69,
  "model": "siyan824/profusion_pr",
  "requested_device": "npu:1",
  "actual_device": "npu:1",
  "npu_name": "Ascend910_9362",
  "exit_status": 0
}

证据截图

  • assets/agent_workflow.png — NPU 环境部署 / 依赖安装 / 权重加载 / 服务启动
  • assets/npu_device_call.png — python inference.py --img ... 命令行推理成功
  • assets/model_result.png — FastAPI /predict 返回推理结果

文件清单

  • inference.py — 昇腾 NPU 推理入口(CLI + FastAPI 双模式)
  • modeling_profusion.py — 按权重键名逆向重建的 ProFusion 模型
  • inspect_weights.py — 权重键/形状检查工具
  • requirements.txt — 依赖清单
  • test_input.png — 单图推理验证输入
  • assets/ — 适配证据截图