m
mengsihan/DreamZero-DROID-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

DreamZero-DROID (NPU adapted)

昇腾 NPU (Ascend 910B) 适配的 DreamZero-DROID World Action Model (WAM)。 原始权重:https://huggingface.co/GEAR-Dreams/DreamZero-DROID

模型任务

DreamZero 是 22.9B 参数的 World Action Model (WAM),基于 Wan2.1-I2V-14B-480P 视频扩散骨干。 它联合自回归预测未来视频帧与机器人动作块(action_horizon=24,action_dim=32), 用视频作为世界演化的稠密表征,实现 zero-shot 机器人策略(DROID 数据集训练,强化学习范式)。

观测与动作契约

  • 观测:视觉上下文(经 VAE 编码的相机图像)、语言指令(经 umt5-xxl 文本编码器)、本体状态(proprio state)。
  • 输出:动作块 action_pred shape (batch, action_horizon, action_dim),以及预测视频 video_pred。
  • 路由:manipulation-vla(视频扩散 WAM)。

真实 NPU 结果

  • 设备:npu:0 (Ascend910_9362),CANN 8.5.1,torch 2.9.0 + torch_npu 2.9.0.post1。
  • 加载:meta 实例化后逐分片以 bf16 直接载入 NPU,全部 2146 个张量(22.92B 参数)均在 npu:0。
  • 推理:lazy_joint_video_action 真实前向,8 个扩散步。
    • action_pred shape (1, 24, 32),device npu:0,min=-4.0000 max=3.4375 mean=0.1143,全部有限。
    • video_pred shape (1, 16, 3, 32, 40),device npu:0。
    • 同步计时:torch.npu.synchronize() 包围,单步 4.10s。
  • 性能(预热 1 次 + 计时 3 次,视频 256×320,8 扩散步): avg=4103ms,min=4098ms,max=4107ms,p50=4105ms,p90/p95=4107ms,0.24 decisions/s。
  • 校验:[status] PASS。

CPU-NPU 一致性

受宿主 32GB RAM 限制(模型 bf16 权重 45.85GB),无法在 CPU 加载完整模型。 采用相同真实权重与输入对 umt5-xxl 文本编码器(5.68B 参数)进行 CPU-NPU 数值对比: max_abs_diff=0.0938,max_ref=2.1406,rel_err=0.0438,全部有限,在 bf16 容差内 PASS。

环境限制

  • 宿主内存限制 32GB,模型 45.85GB(bf16),必须逐分片直接载入 NPU(meta 实例化 + shard 加载)。
  • 本仓库仅包含推理代码与证据,不含模型权重(45.85GB 权重请从 HuggingFace 获取)。
  • 需要 ENABLE_TENSORRT=true 使用实数 RoPE + SDPA 路径,且禁用 torch.compile(NPU 无 Triton)。

证据图

agent_workflow npu_device_call model_result