gcw_6a3w2yXz/infinity1096-UFM-Refine-980-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

infinity1096/UFM-Refine-980 on Ascend NPU

1. 模型简介

UFM(UniFlowMatch,arXiv:2506.09278,CMU)是一个端到端训练的稠密对应模型:输入一对 RGB 图像,直接回归像素位移场(光流),同时输出共视性(covisibility)掩码,统一覆盖光流估计与宽基线匹配两类任务。

本仓库适配的是 Refine 高分辨率变体(infinity1096/UFM-Refine-980,推理分辨率 980x644)。它在共享主干之上增加 patch 分类细化阶段:

  • 编码器:DINOv2 ViT-Large/14(双视图独立编码)
  • 信息共享:全局注意力 Transformer(dim=768,depth=12,dual+single)
  • 主头:DPT 光流回归头 + DPT 不确定度头(non_occluded_mask)
  • 细化:patch-MLP 分类头 + U-Net 图像特征,refinement_range=5 的局部窗口迭代细化
  • 参数量:477.8M(477,760,540),FP32 safetensors 权重 1,911,126,288 字节

任务契约:predict_correspondences_batched(source, target) → flow (B,2,H,W)(源帧像素位移)+ covisibility mask (B,H,W) ∈ [0,1]。

2. 验证环境

项目值
NPUAscend 910(npu:0,Ascend910_9362,64GB HBM)
torch2.9.0+cpu
torch_npu2.9.0.post1+gitee7ba04
CANN8.5.1
系统Linux aarch64

3. 安装依赖

# Ascend 环境需另行安装 torch_npu(与 torch 2.9.0 配套)
pip install -r requirements.txt

权重加载优先级:--weights-dir 参数 > UFM_WEIGHTS_DIR 环境变量 > ./weights 目录 > HF snapshot_download("infinity1096/UFM-Refine-980")。

# 可选:预先下载权重到本地目录
export UFM_WEIGHTS_DIR=/path/to/UFM-Refine-980
huggingface-cli download infinity1096/UFM-Refine-980 --local-dir "$UFM_WEIGHTS_DIR"

4. NPU 推理

python inference.py              # 完整流水线:CPU 参考 + NPU 推理 + 一致性验证 + 性能测试
python inference.py --mode validate    # 仅一致性验证
python inference.py --mode benchmark   # 仅性能测试

默认执行即完成真实 npu:0 推理并打印 PASS/FAIL;任一必选检查失败时退出码非零。

NPU 适配要点

上游 UFM/UniCeption 用 torch.autocast("cuda", torch.bfloat16) 包裹共享前向、用 torch.autocast("cuda", torch.float32) 在预测头内禁用自动混合精度。autocast 与设备类型绑定,在昇腾上这两个上下文会静默失效、全网退化为 FP32。inference.py 内置 apply_npu_autocast_patch():将 torch.autocast 重绑定为设备感知子类,把 "cuda" 设备类型重定向为 "npu",并把 FP32 头部上下文表达为显式关闭 autocast——完整保留上游“bf16 主干 + fp32 头”的数值语义。除此之外未修改任何模型结构或权重。

5. 真实推理结果

固定样例:官方示例图像对 examples/image_pairs/bike_0.png(1080x1080)/ bike_1.png(1080x607),内部缩放到模型推理分辨率 980x644。

本次真实执行的 NPU 关键输出:

[1/6] Environment
  device=npu:0 name=Ascend910_9362 torch=2.9.0+cpu torch_npu=2.9.0.post1+gitee7ba04
  npu autocast shim applied: True
[3/6] NPU inference (real weights on npu:0)
  NPU model loaded in 25.4s (477.8M params), dtype=fp32 weights + bf16 autocast trunk
  first NPU forward: 1.10s | flow (2, 1080, 1080) | cov>0.5 frac 0.529
  peak HBM after first forward: 5.03 GB
[4/6] Validation
  photometric warp check: residual MAE 0.1332 vs baseline 0.1890 (improvement x1.42)
[6/6] Verdict
  RESULT: PASS

可视化结果见 assets/model_result.png 与运行产物 outputs/ufm_result.png(源图 / 目标图 / 按流回 warp 的源图 / 流场伪彩图 / 共视掩码 / 共视置信度热图)。

6. CPU-NPU 一致性验证

同权重、同输入下对比 CPU-FP32 参考与 NPU 输出(固定样例 smoke consistency,非完整数据集评测):

指标NPU-bf16(autocast)NPU-fp32(无autocast归因)
flow EPE mean0.573 px0.563 px
flow EPE median0.169 px-
flow EPE p997.721 px7.751 px
covisibility IoU@0.50.99110.9913
mask mean abs diff0.0034-

评估像素数 618,557(CPU/NPU 共视并集)。NPU-bf16 与 NPU-fp32 相对 CPU 的偏差几乎相同,说明残差来自跨设备浮点数值差异而非 bf16 autocast。语义自检:按预测流将目标图 warp 回源帧后,光度残差 MAE 0.1332,相对恒等位移基线 0.1890 改善 ×1.42(阈值 ≥×1.2)。

全部阈值通过:EPE mean ≤ 2.0 px ✓,EPE p99 ≤ 10.0 px ✓,IoU@0.5 ≥ 0.95 ✓,warp 改善 ≥ 1.2 ✓。

7. 性能测试

端到端 predict_correspondences_batched(batch=1,含预处理/缩放/细化全流程),计时区间前后 torch.npu.synchronize(),预热 3 次、正式 10 次:

指标值
latency avg477.554 ms
latency min / max476.256 / 479.182 ms
latency p50 / p90 / p95477.619 / 478.411 / 478.796 ms
吞吐2.094 pairs/s
峰值 HBM5.021 GB
dtype 策略FP32 权重 + bf16 autocast 主干(上游语义)+ FP32 头

参考:CPU-FP32 单次前向约 285 s,NPU 加速约 600 倍。

8. 自验证截图

  • assets/agent_workflow.png:下载、侦察、加载、NPU 推理、验证、性能各阶段真实日志
  • assets/npu_device_call.png:npu-smi info、torch.npu.is_available()、设备名、参数设备与 dtype
  • assets/model_result.png:默认 python inference.py 完整输出与 PASS 判定

9. 已知限制

  • 精度一致性为固定单样例 smoke consistency(官方示例 bike 图像对),不是 MegaDepth/ETH3 等完整基准评测。
  • Refine-980 设计分辨率为 980x644;任意尺寸输入会被内部 ImageScaler 等比缩放并映射回流场。
  • 首次构造 DINOv2 ViT-L 骨干时会查找 timm/torch-hub 缓存以获取网络结构定义,随后所有权重均从本仓库 checkpoint 覆盖加载。
  • 许可证 CC-BY-NC-4.0(仅限非商业用途)。

10. 标签

NPU · Ascend · Ascend910 · optical-flow · dense-correspondence · matching