任务:trajectory-conditioned novel-view video generation(轨迹条件新视角视频生成) 固定设备:
npu:7(Ascend 910B4-1) · 引擎:torch_npu2.9.0 · CANN 8.5.1 · 驱动 25.5.1
本仓库将 TrajectoryCrafter/TrajectoryCrafter(官方 revision
c175473b1972cb4728d45557c11af897adf7d056)的轨迹条件扩散 Transformer 组件
CrossTransformer3DModel 适配到华为昇腾 NPU,并使用真实预训练权重在 npu:7 上完成
一次完整的 42 层 Transformer 前向推理(非 CPU 模拟、非随机权重空跑)。
TrajectoryCrafter 是 ICCV 2025(Oral)论文 TrajectoryCrafter: Redirecting Camera Trajectory for Monocular Videos via Diffusion Models 提出的轨迹条件新视角视频生成模型:输入单目视频与目标相机轨迹,生成沿新轨迹的高保真新视角视频。
组件范围(重要):Hugging Face 仓库 TrajectoryCrafter/TrajectoryCrafter(revision
c175473b1972cb4728d45557c11af897adf7d056)只发布轨迹条件扩散 Transformer 组件
(CrossTransformer3DModel),不包含独立的 T5 文本编码器、VAE、调度器或基础
CogVideoX 视频管线权重。因此本交付不声称产出了解码后的最终视频,而是在最小合法输入形状下,
用全部真实预训练权重跑通完整 42 层 Transformer 前向,并记录输入/模型/输出均在 npu:7 上的
完整数值证据。
CrossTransformer3DModel(source/models/crosstransformer3d.py)num_layers=42、num_attention_heads=48、attention_head_dim=64、
in_channels=33、out_channels=16、is_train_cross=true、cross_attn_interval=14missing=0、unexpected=0)| 版本项 | 值 |
|---|---|
| 模型 ID | TrajectoryCrafter/TrajectoryCrafter |
| 模型 revision | c175473b1972cb4728d45557c11af897adf7d056 |
| 官方代码 revision | b0699f31e5c276722843805da7e69a91c6febbec |
| 官方源码归档 SHA256 | 2082641f046394348aa37dff874ad48c0c458175d522197b4b3e5e5b737eacce |
容器已提供 torch==2.9.0+cpu、torch_npu==2.9.0、CANN 8.5.1、驱动/npu-smi 25.5.1,
以及 8 张 Ascend 910B4-1 设备。禁止用普通 PyPI wheel 重装/替换 torch 与 torch_npu。
本交付 requirements.txt(已排除 torch/torch_npu,全部从
https://mirrors.aliyun.com/pypi/simple/ 安装):
diffusers==0.30.3
safetensors==0.8.0
numpy==1.26.4
Pillow==12.3.0实际运行环境(logs/run_npu.log 记录):
| 组件 | 版本 |
|---|---|
| Python | 3.11.14 |
| torch | 2.9.0+cpu |
| torch_npu | 2.9.0 |
| CANN | 8.5.1 |
| driver / npu-smi | 25.5.1 |
| diffusers | 0.30.3 |
| safetensors | 0.8.0 |
加载 CANN 环境(runner 会自动执行,手动运行也建议执行):
source /usr/local/Ascend/ascend-toolkit/set_env.sh安装依赖(如缺失):
pip install -i https://mirrors.aliyun.com/pypi/simple/ -r requirements.txt运行端到端 NPU 推理(含精确 PID 的 npu-smi 并发监控):
cd /work/pipeline/jobs/other40/trajectorycrafter/trajectorycrafter-npu
bash run_npu.shrunner 会:启动 python3 -u inference.py 并记录精确 PID($!);并发轮询
npu-smi info 直到同一 PID 出现在物理设备 NPU 7 上;进程结束后保存最终快照。
产物:
logs/run_npu.log:推理进程原始(已脱敏)日志logs/npu_device_call.log:并发 npu-smi 轮询证据(含在 NPU 7 上观测到的推理 PID)logs/npu_result.json:结构化结果inference.py:主推理脚本(导入并主动使用 torch_npu,校验 NPU 可用性/数量/索引,
调用 torch.npu.set_device("npu:7"),非法/不可用设备返回非零)测试输入(CC0 出处声明):使用确定性、自研的 CC0 1.0(公有领域)合成
latent/text-conditioning 张量,不包含任何受版权保护的图像/视频/文本内容,也不从外部数据源下载。
固定随机种子 SEED=20260821。最小合法形状为:batch=1、num_frames=1、空间 4x4、
噪声通道 16、修复条件通道 17、交叉参考通道 16、文本 token 1(宽度 4096)、
时间步 [500]。
| 输入 | 形状 | dtype | 设备 |
|---|---|---|---|
| noise(hidden_states) | (1,1,16,4,4) | bf16 | npu:7 |
| inpaint_latents(conditioning) | (1,1,17,4,4) | bf16 | npu:7 |
| cross_latents(reference) | (1,1,16,4,4) | bf16 | npu:7 |
| encoder_hidden_states(text) | (1,1,4096) | bf16 | npu:7 |
| timestep | (1,) | bf16 | npu:7 |
| image_rotary_emb(freqs_cos/sin) | (4,64) | bf16 | npu:7 |
| 模型 | 5,646,225,984 参数 | bf16 | npu:7 |
| 输出 | (1,1,16,4,4) | bf16 | npu:7 |
精确运行命令:
cd /work/pipeline/jobs/other40/trajectorycrafter/trajectorycrafter-npu && bash run_npu.sh权重完整性(本地验证,logs/npu_result.json):
| 分片 | 字节数 | SHA256 |
|---|---|---|
diffusion_pytorch_model-00001-of-00002.safetensors | 9,925,760,000 | 6ed8c733fe8e7102f11a43aeb00d0f64537a6cd936235b63b9c299680c61a950 |
diffusion_pytorch_model-00002-of-00002.safetensors | 1,366,811,024 | e8469e36700bd355ac5555b4f75e82a250d818d1ea1d5561f906da7c092f22cf |
执行证据(精确 PID 监控):
inference_pid=560590 start=2026-08-21T11:58:55Z
>> PID 560590 FOUND on NPU 7 at poll=4 2026-08-21T11:59:06Z
| 7 0 | 560590 | python3 | 114
>> inference_pid=560590 finished exit_code=0 2026-08-21T12:00:20Z一次完整前向(全部 42 个 Transformer 块,executed_layer_count=42),
首轮延迟(first-run,非 warm-up):
| 指标 | 值 |
|---|---|
| 输出形状 | [1, 1, 16, 4, 4] |
| 输出 dtype | torch.bfloat16 |
| 输出设备 | npu:7 |
| finite | True |
| mean / std | -0.048692 / 0.564037 |
| min / max | -1.203125 / 1.546875 |
| abs_mean | 0.473840 |
| flatten[:8] | -0.259766, 0.183594, -0.447266, -0.173828, 0.030151, -0.244141, -0.468750, 0.062500 |
坐标采样 [0,0,0,0,0] | -0.259765625 |
坐标采样 [0,0,15,3,3] | 0.55859375 |
坐标采样 [0,0,7,2,1] | 0.36328125 |
坐标采样 [0,0,3,0,3] | -0.703125 |
| 首轮前向延迟 | 9.046 s |
| 峰值 NPU 显存 | 11,423,181,824 B(≈ 10.64 GiB) |
| 加载张量数 / 参数数 / 执行层数 | 1047 / 5,646,225,984 / 42 |
| fallback 警告 | 无(0 条) |
| 退出码 | 0 |
| 文件 | 说明 |
|---|---|
logs/run_npu.log | 推理进程原始(已脱敏)日志 |
logs/npu_device_call.log | 编排方独立验收的并发 npu-smi 轮询证据(PID 560590 在 NPU 7 上) |
logs/npu_result.json | 结构化结果(输入/模型/输出、校验和、时序、显存) |
logs/modelagent_transcript.log | 脱敏工作流摘要 |
assets/agent_workflow.png | 工作流证据图(1440x1800) |
assets/modelagent_live_session.png | ModelAgent 实时会话图(编排方渲染,1440x900) |
assets/npu_device_call.png | NPU 设备调用证据图(1440x900) |
assets/model_result.png | 模型结果证据图(1440x900) |
CrossTransformer3DModel 的一次完整前向。Hugging Face
仓库不含 T5/VAE/调度器/基础视频管线权重,因此未生成解码视频,也不做精度对齐到完整管线。npu:7 执行;脚本对非法/不可用设备返回非零,
并对前向期间的 NPU→CPU 算子回退警告做拒绝(本轮捕获 0 条)。path string is NULL 提示:CANN 初始化时可能打印该无害调试信息,不影响推理结果。| 问题 | 原因 | 处理 |
|---|---|---|
No module named 'decorator' | torch_npu 运行依赖缺失 | pip install -i https://mirrors.aliyun.com/pypi/simple/ decorator |
| NPU 初始化失败 | CANN 环境未加载 | source /usr/local/Ascend/ascend-toolkit/set_env.sh |
| 设备不可用/数量不足 | 未找到 npu:7 | 检查 npu-smi info,确认 8 卡在位;脚本会返回非零 |
| 权重 SHA256 不匹配 | 本地权重损坏 | 重新校验 /work/pipeline/models/other40/trajectorycrafter |
| 前向出现算子回退警告 | 存在 NPU 不兼容算子 | 脚本会拒绝并返回非零,记录在 logs/run_npu.log |
| 显存不足 | 峰值超 NPU HBM | 本用例峰值约 10.64 GiB,远低于 64 GiB;增大形状时需评估 |
模型/源码许可证为 other:TrajectoryCrafter 组件仅限 学术、研究、教育用途,
任何情况下禁止商业/生产用途;同时继承 CogVideoX 相关许可证条款。详见官方
LICENSE_MODEL(模型)与 License(源码)。本交付不发布模型权重,仅提供固定 revision 的
引用、适配脚本、日志与证据文件。
| 证据图 | 预览 |
|---|---|
| 工作流证据 | ![]() |
| ModelAgent 实时会话(编排方渲染) | ![]() |
| NPU 设备调用证据 | ![]() |
| 模型结果证据 | ![]() |