UFM(UniFlowMatch,arXiv:2506.09278,CMU)是一个端到端训练的稠密对应模型:输入一对 RGB 图像,直接回归像素位移场(光流),同时输出共视性(covisibility)掩码,统一覆盖光流估计与宽基线匹配两类任务。
本仓库适配的是 Refine 高分辨率变体(infinity1096/UFM-Refine-980,推理分辨率 980x644)。它在共享主干之上增加 patch 分类细化阶段:
refinement_range=5 的局部窗口迭代细化任务契约:predict_correspondences_batched(source, target) → flow (B,2,H,W)(源帧像素位移)+ covisibility mask (B,H,W) ∈ [0,1]。
| 项目 | 值 |
|---|---|
| NPU | Ascend 910(npu:0,Ascend910_9362,64GB HBM) |
| torch | 2.9.0+cpu |
| torch_npu | 2.9.0.post1+gitee7ba04 |
| CANN | 8.5.1 |
| 系统 | Linux aarch64 |
# Ascend 环境需另行安装 torch_npu(与 torch 2.9.0 配套)
pip install -r requirements.txt权重加载优先级:--weights-dir 参数 > UFM_WEIGHTS_DIR 环境变量 > ./weights 目录 > HF snapshot_download("infinity1096/UFM-Refine-980")。
# 可选:预先下载权重到本地目录
export UFM_WEIGHTS_DIR=/path/to/UFM-Refine-980
huggingface-cli download infinity1096/UFM-Refine-980 --local-dir "$UFM_WEIGHTS_DIR"python inference.py # 完整流水线:CPU 参考 + NPU 推理 + 一致性验证 + 性能测试
python inference.py --mode validate # 仅一致性验证
python inference.py --mode benchmark # 仅性能测试默认执行即完成真实 npu:0 推理并打印 PASS/FAIL;任一必选检查失败时退出码非零。
上游 UFM/UniCeption 用 torch.autocast("cuda", torch.bfloat16) 包裹共享前向、用 torch.autocast("cuda", torch.float32) 在预测头内禁用自动混合精度。autocast 与设备类型绑定,在昇腾上这两个上下文会静默失效、全网退化为 FP32。inference.py 内置 apply_npu_autocast_patch():将 torch.autocast 重绑定为设备感知子类,把 "cuda" 设备类型重定向为 "npu",并把 FP32 头部上下文表达为显式关闭 autocast——完整保留上游“bf16 主干 + fp32 头”的数值语义。除此之外未修改任何模型结构或权重。
固定样例:官方示例图像对 examples/image_pairs/bike_0.png(1080x1080)/ bike_1.png(1080x607),内部缩放到模型推理分辨率 980x644。
本次真实执行的 NPU 关键输出:
[1/6] Environment
device=npu:0 name=Ascend910_9362 torch=2.9.0+cpu torch_npu=2.9.0.post1+gitee7ba04
npu autocast shim applied: True
[3/6] NPU inference (real weights on npu:0)
NPU model loaded in 25.4s (477.8M params), dtype=fp32 weights + bf16 autocast trunk
first NPU forward: 1.10s | flow (2, 1080, 1080) | cov>0.5 frac 0.529
peak HBM after first forward: 5.03 GB
[4/6] Validation
photometric warp check: residual MAE 0.1332 vs baseline 0.1890 (improvement x1.42)
[6/6] Verdict
RESULT: PASS可视化结果见 assets/model_result.png 与运行产物 outputs/ufm_result.png(源图 / 目标图 / 按流回 warp 的源图 / 流场伪彩图 / 共视掩码 / 共视置信度热图)。
同权重、同输入下对比 CPU-FP32 参考与 NPU 输出(固定样例 smoke consistency,非完整数据集评测):
| 指标 | NPU-bf16(autocast) | NPU-fp32(无autocast归因) |
|---|---|---|
| flow EPE mean | 0.573 px | 0.563 px |
| flow EPE median | 0.169 px | - |
| flow EPE p99 | 7.721 px | 7.751 px |
| covisibility IoU@0.5 | 0.9911 | 0.9913 |
| mask mean abs diff | 0.0034 | - |
评估像素数 618,557(CPU/NPU 共视并集)。NPU-bf16 与 NPU-fp32 相对 CPU 的偏差几乎相同,说明残差来自跨设备浮点数值差异而非 bf16 autocast。语义自检:按预测流将目标图 warp 回源帧后,光度残差 MAE 0.1332,相对恒等位移基线 0.1890 改善 ×1.42(阈值 ≥×1.2)。
全部阈值通过:EPE mean ≤ 2.0 px ✓,EPE p99 ≤ 10.0 px ✓,IoU@0.5 ≥ 0.95 ✓,warp 改善 ≥ 1.2 ✓。
端到端 predict_correspondences_batched(batch=1,含预处理/缩放/细化全流程),计时区间前后 torch.npu.synchronize(),预热 3 次、正式 10 次:
| 指标 | 值 |
|---|---|
| latency avg | 477.554 ms |
| latency min / max | 476.256 / 479.182 ms |
| latency p50 / p90 / p95 | 477.619 / 478.411 / 478.796 ms |
| 吞吐 | 2.094 pairs/s |
| 峰值 HBM | 5.021 GB |
| dtype 策略 | FP32 权重 + bf16 autocast 主干(上游语义)+ FP32 头 |
参考:CPU-FP32 单次前向约 285 s,NPU 加速约 600 倍。
assets/agent_workflow.png:下载、侦察、加载、NPU 推理、验证、性能各阶段真实日志assets/npu_device_call.png:npu-smi info、torch.npu.is_available()、设备名、参数设备与 dtypeassets/model_result.png:默认 python inference.py 完整输出与 PASS 判定NPU · Ascend · Ascend910 · optical-flow · dense-correspondence · matching