atlasleong/trajectorycrafter-npu
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

TrajectoryCrafter 昇腾 NPU 推理适配

任务:trajectory-conditioned novel-view video generation(轨迹条件新视角视频生成) 固定设备:npu:7(Ascend 910B4-1) · 引擎:torch_npu 2.9.0 · CANN 8.5.1 · 驱动 25.5.1

本仓库将 TrajectoryCrafter/TrajectoryCrafter(官方 revision c175473b1972cb4728d45557c11af897adf7d056)的轨迹条件扩散 Transformer 组件 CrossTransformer3DModel 适配到华为昇腾 NPU,并使用真实预训练权重在 npu:7 上完成 一次完整的 42 层 Transformer 前向推理(非 CPU 模拟、非随机权重空跑)。

模型简介

TrajectoryCrafter 是 ICCV 2025(Oral)论文 TrajectoryCrafter: Redirecting Camera Trajectory for Monocular Videos via Diffusion Models 提出的轨迹条件新视角视频生成模型:输入单目视频与目标相机轨迹,生成沿新轨迹的高保真新视角视频。

组件范围(重要):Hugging Face 仓库 TrajectoryCrafter/TrajectoryCrafter(revision c175473b1972cb4728d45557c11af897adf7d056)只发布轨迹条件扩散 Transformer 组件 (CrossTransformer3DModel),不包含独立的 T5 文本编码器、VAE、调度器或基础 CogVideoX 视频管线权重。因此本交付不声称产出了解码后的最终视频,而是在最小合法输入形状下, 用全部真实预训练权重跑通完整 42 层 Transformer 前向,并记录输入/模型/输出均在 npu:7 上的 完整数值证据。

  • 目标类:CrossTransformer3DModel(source/models/crosstransformer3d.py)
  • 配置:num_layers=42、num_attention_heads=48、attention_head_dim=64、 in_channels=33、out_channels=16、is_train_cross=true、cross_attn_interval=14
  • 参数规模:5,646,225,984(约 5.65B),bf16 权重
  • 校验张量数:1047/1047(两个 safetensors 分片全部加载,missing=0、unexpected=0)
版本项值
模型 IDTrajectoryCrafter/TrajectoryCrafter
模型 revisionc175473b1972cb4728d45557c11af897adf7d056
官方代码 revisionb0699f31e5c276722843805da7e69a91c6febbec
官方源码归档 SHA2562082641f046394348aa37dff874ad48c0c458175d522197b4b3e5e5b737eacce

环境依赖清单

容器已提供 torch==2.9.0+cpu、torch_npu==2.9.0、CANN 8.5.1、驱动/npu-smi 25.5.1, 以及 8 张 Ascend 910B4-1 设备。禁止用普通 PyPI wheel 重装/替换 torch 与 torch_npu。

本交付 requirements.txt(已排除 torch/torch_npu,全部从 https://mirrors.aliyun.com/pypi/simple/ 安装):

diffusers==0.30.3
safetensors==0.8.0
numpy==1.26.4
Pillow==12.3.0

实际运行环境(logs/run_npu.log 记录):

组件版本
Python3.11.14
torch2.9.0+cpu
torch_npu2.9.0
CANN8.5.1
driver / npu-smi25.5.1
diffusers0.30.3
safetensors0.8.0

分步推理操作流程

  1. 加载 CANN 环境(runner 会自动执行,手动运行也建议执行):

    source /usr/local/Ascend/ascend-toolkit/set_env.sh
  2. 安装依赖(如缺失):

    pip install -i https://mirrors.aliyun.com/pypi/simple/ -r requirements.txt
  3. 运行端到端 NPU 推理(含精确 PID 的 npu-smi 并发监控):

    cd /work/pipeline/jobs/other40/trajectorycrafter/trajectorycrafter-npu
    bash run_npu.sh

    runner 会:启动 python3 -u inference.py 并记录精确 PID($!);并发轮询 npu-smi info 直到同一 PID 出现在物理设备 NPU 7 上;进程结束后保存最终快照。

  4. 产物:

    • logs/run_npu.log:推理进程原始(已脱敏)日志
    • logs/npu_device_call.log:并发 npu-smi 轮询证据(含在 NPU 7 上观测到的推理 PID)
    • logs/npu_result.json:结构化结果
    • inference.py:主推理脚本(导入并主动使用 torch_npu,校验 NPU 可用性/数量/索引, 调用 torch.npu.set_device("npu:7"),非法/不可用设备返回非零)

完整测试用例

测试输入(CC0 出处声明):使用确定性、自研的 CC0 1.0(公有领域)合成 latent/text-conditioning 张量,不包含任何受版权保护的图像/视频/文本内容,也不从外部数据源下载。 固定随机种子 SEED=20260821。最小合法形状为:batch=1、num_frames=1、空间 4x4、 噪声通道 16、修复条件通道 17、交叉参考通道 16、文本 token 1(宽度 4096)、 时间步 [500]。

输入形状dtype设备
noise(hidden_states)(1,1,16,4,4)bf16npu:7
inpaint_latents(conditioning)(1,1,17,4,4)bf16npu:7
cross_latents(reference)(1,1,16,4,4)bf16npu:7
encoder_hidden_states(text)(1,1,4096)bf16npu:7
timestep(1,)bf16npu:7
image_rotary_emb(freqs_cos/sin)(4,64)bf16npu:7
模型5,646,225,984 参数bf16npu:7
输出(1,1,16,4,4)bf16npu:7

精确运行命令:

cd /work/pipeline/jobs/other40/trajectorycrafter/trajectorycrafter-npu && bash run_npu.sh

权重完整性(本地验证,logs/npu_result.json):

分片字节数SHA256
diffusion_pytorch_model-00001-of-00002.safetensors9,925,760,0006ed8c733fe8e7102f11a43aeb00d0f64537a6cd936235b63b9c299680c61a950
diffusion_pytorch_model-00002-of-00002.safetensors1,366,811,024e8469e36700bd355ac5555b4f75e82a250d818d1ea1d5561f906da7c092f22cf

执行证据(精确 PID 监控):

inference_pid=560590 start=2026-08-21T11:58:55Z
>> PID 560590 FOUND on NPU 7 at poll=4 2026-08-21T11:59:06Z
| 7       0                 | 560590        | python3                  | 114
>> inference_pid=560590 finished exit_code=0 2026-08-21T12:00:20Z

输出结果

一次完整前向(全部 42 个 Transformer 块,executed_layer_count=42), 首轮延迟(first-run,非 warm-up):

指标值
输出形状[1, 1, 16, 4, 4]
输出 dtypetorch.bfloat16
输出设备npu:7
finiteTrue
mean / std-0.048692 / 0.564037
min / max-1.203125 / 1.546875
abs_mean0.473840
flatten[:8]-0.259766, 0.183594, -0.447266, -0.173828, 0.030151, -0.244141, -0.468750, 0.062500
坐标采样 [0,0,0,0,0]-0.259765625
坐标采样 [0,0,15,3,3]0.55859375
坐标采样 [0,0,7,2,1]0.36328125
坐标采样 [0,0,3,0,3]-0.703125
首轮前向延迟9.046 s
峰值 NPU 显存11,423,181,824 B(≈ 10.64 GiB)
加载张量数 / 参数数 / 执行层数1047 / 5,646,225,984 / 42
fallback 警告无(0 条)
退出码0

证据文件

文件说明
logs/run_npu.log推理进程原始(已脱敏)日志
logs/npu_device_call.log编排方独立验收的并发 npu-smi 轮询证据(PID 560590 在 NPU 7 上)
logs/npu_result.json结构化结果(输入/模型/输出、校验和、时序、显存)
logs/modelagent_transcript.log脱敏工作流摘要
assets/agent_workflow.png工作流证据图(1440x1800)
assets/modelagent_live_session.pngModelAgent 实时会话图(编排方渲染,1440x900)
assets/npu_device_call.pngNPU 设备调用证据图(1440x900)
assets/model_result.png模型结果证据图(1440x900)

局限性与说明

  1. 组件级范围:本交付只覆盖 CrossTransformer3DModel 的一次完整前向。Hugging Face 仓库不含 T5/VAE/调度器/基础视频管线权重,因此未生成解码视频,也不做精度对齐到完整管线。
  2. 推理 dtype:权重为 bf16,模型与输入均以 bf16 在 NPU 上运行。
  3. 合成输入:测试输入为 CC0 公有领域合成张量,仅用于证明真实权重在 NPU 上可执行。
  4. 无 CPU 回退:模型前向路径与所有神经算子均在 npu:7 执行;脚本对非法/不可用设备返回非零, 并对前向期间的 NPU→CPU 算子回退警告做拒绝(本轮捕获 0 条)。
  5. path string is NULL 提示:CANN 初始化时可能打印该无害调试信息,不影响推理结果。

故障排查

问题原因处理
No module named 'decorator'torch_npu 运行依赖缺失pip install -i https://mirrors.aliyun.com/pypi/simple/ decorator
NPU 初始化失败CANN 环境未加载source /usr/local/Ascend/ascend-toolkit/set_env.sh
设备不可用/数量不足未找到 npu:7检查 npu-smi info,确认 8 卡在位;脚本会返回非零
权重 SHA256 不匹配本地权重损坏重新校验 /work/pipeline/models/other40/trajectorycrafter
前向出现算子回退警告存在 NPU 不兼容算子脚本会拒绝并返回非零,记录在 logs/run_npu.log
显存不足峰值超 NPU HBM本用例峰值约 10.64 GiB,远低于 64 GiB;增大形状时需评估

许可证限制

模型/源码许可证为 other:TrajectoryCrafter 组件仅限 学术、研究、教育用途, 任何情况下禁止商业/生产用途;同时继承 CogVideoX 相关许可证条款。详见官方 LICENSE_MODEL(模型)与 License(源码)。本交付不发布模型权重,仅提供固定 revision 的 引用、适配脚本、日志与证据文件。

图片

证据图预览
工作流证据agent_workflow
ModelAgent 实时会话(编排方渲染)modelagent_live_session
NPU 设备调用证据npu_device_call
模型结果证据model_result