昇腾 NPU (Ascend 910B) 适配的 DreamZero-DROID World Action Model (WAM)。 原始权重:https://huggingface.co/GEAR-Dreams/DreamZero-DROID
DreamZero 是 22.9B 参数的 World Action Model (WAM),基于 Wan2.1-I2V-14B-480P 视频扩散骨干。
它联合自回归预测未来视频帧与机器人动作块(action_horizon=24,action_dim=32),
用视频作为世界演化的稠密表征,实现 zero-shot 机器人策略(DROID 数据集训练,强化学习范式)。
action_pred shape (batch, action_horizon, action_dim),以及预测视频 video_pred。manipulation-vla(视频扩散 WAM)。npu:0 (Ascend910_9362),CANN 8.5.1,torch 2.9.0 + torch_npu 2.9.0.post1。npu:0。lazy_joint_video_action 真实前向,8 个扩散步。
action_pred shape (1, 24, 32),device npu:0,min=-4.0000 max=3.4375 mean=0.1143,全部有限。video_pred shape (1, 16, 3, 32, 40),device npu:0。torch.npu.synchronize() 包围,单步 4.10s。[status] PASS。受宿主 32GB RAM 限制(模型 bf16 权重 45.85GB),无法在 CPU 加载完整模型。
采用相同真实权重与输入对 umt5-xxl 文本编码器(5.68B 参数)进行 CPU-NPU 数值对比:
max_abs_diff=0.0938,max_ref=2.1406,rel_err=0.0438,全部有限,在 bf16 容差内 PASS。
ENABLE_TENSORRT=true 使用实数 RoPE + SDPA 路径,且禁用 torch.compile(NPU 无 Triton)。
