Cosmos3 示例合集 | 代码 | 技术报告 | 官网

图中高亮的检查点 Cosmos3-Nano-Sim-Auto 是 Cosmos3-Nano-Transfer-Auto 的因果蒸馏变体。
Cosmos3-Nano-Sim-Auto 专为实时闭环驾驶仿真而设计,能够基于文本提示和 World Scenario Map(WSM)控制信号,生成多视角同步相机视频与 LiDAR 观测结果;当请求 LiDAR 输出时,还包括对齐的 LiDAR 控制信号。WSM 渲染器可将自动驾驶策略或人工方向盘输入转化为场景控制信号。该模型以缓存的历史帧和实时 WSM 控制为条件,逐块生成潜空间帧视频,使后续观测能够反映最新的驾驶输入变化。模型最多支持 11 个标准视角与鱼眼相机视角,并输出空间和时间对齐的 LiDAR 数据,可转换为 3D 点云。联合传感器输出支持在同一次推演中对多传感器感知栈和驾驶策略进行评测。推理吞吐量取决于硬件和生成配置。
Cosmos3-Nano-Sim-Auto 由 NVIDIA 开发,是 Cosmos 示例模型家族的一员。
如需快速上手,请参阅 Cosmos3-Nano-Sim-Auto 技能文档。
该模型可自由用于商业或非商业场景。
本模型基于 OpenMDW1.1 协议发布。
全球
面向自动驾驶车辆的物理 AI:闭环驾驶策略评估与验证,以及多传感器同步合成数据生成。
架构类型: Transformer
网络架构: Mixture-of-Transformers(MoT)
Cosmos3-Nano-Sim-Auto 基于 Cosmos3-Nano 经过两个阶段派生而来:第一阶段,在多传感器驾驶数据上进行后训练,数据包含 LiDAR,产出 Cosmos3-Nano-Transfer-Auto;第二阶段,进行因果蒸馏,产出一个少步模型,该模型以缓存历史和输入 WSM 控制为条件,以少量潜帧块为单位生成视频。缓存历史为跨生成块提供时序上下文。相机视图与 LiDAR 联合生成,以支持空间与时序一致性。
本模型使用 Cosmos Framework 开发。
可训练模型参数量: 16B
我们的 AI 模型专为 NVIDIA GPU 加速系统设计/优化。借助 NVIDIA 的硬件(如 GPU 核心)和软件框架(如 CUDA 库),与纯 CPU 方案相比,模型可实现更快的训练和推理速度。
运行时引擎:
支持的硬件微架构:
操作系统:
将基础模型和微调模型集成到 AI 系统中时,需要使用特定场景的数据进行额外测试,以确保安全、有效地部署。遵循 V 模型方法论,在单元级和系统级进行迭代测试与验证至关重要,以降低风险、满足技术与功能需求,并确保在部署前符合安全与道德标准。
Cosmos3-Nano-Sim-Auto — V1.0(2026/10/20)
Cosmos3-Nano-Sim-Auto 是 Cosmos3-Nano-Transfer-Auto 的因果蒸馏变体,而后者是 Cosmos3-Nano 的后续训练变体。
数据模态: 视频、文本和 LiDAR。
后训练数据规模:
数据收集方式: 混合模式:自动采集/传感器采集、合成数据、自动化处理。
标注方式: 混合模式:人工标注、自动化标注。
特性: 后训练数据集由多摄像头驾驶视频、对应的英文描述文本以及源自 NVIDIA 自研驾驶数据集的 LiDAR 观测数据组成。
来自内部和外部的原始数据经过多轮筛选、过滤和质量审核,转化为可用于训练的数据。数据采集涵盖多样化的多模态来源——机器人、自动驾驶、工业场景、室内外环境、不同光照和天气条件、不同摄像头视角、不同物体类别以及人类活动——以拓宽对 Physical AI 运行环境的覆盖范围。自动化过滤流水线用于剔除损坏、重复、低质量及受限制的内容。在预处理阶段,会应用元数据分析、启发式规则和模型辅助分类器,以标记异常分布和低多样性子集。对于部分数据集、基准构建及针对性质量分析,人工审核作为自动化过滤的补充。数据集在各模态和任务类别之间进行均衡——视觉推理、文本生成图像、文本生成视频、图像生成视频、音频生成、视频风格迁移、动作条件生成和动作指令生成——以减少狭窄领域的过度表示。合成数据和基于仿真的增强用于补充罕见物理交互和边缘场景的覆盖。在整个语料库中应用去重和来源追踪。最终处理后的数据在训练开始前,通过各模态专用的预处理器转化为模型就绪的 Token 化或编码表示。
训练数据集经过多层自动化和人工保障机制的处理,旨在降低各类有害或违反策略内容的占比,涵盖的类别包括武器及武器相关教学内容、犯罪策划、儿童性虐待材料(CSAM)、非自愿私密影像(NCII)、涉及未成年人的性内容、骚扰、仇恨言论、粗俗用语、威胁与暴力煽动、自残或自杀相关内容以及血腥暴力。数据源在进入训练语料库之前,会就许可兼容性、来源可追溯性以及与内部数据治理和安全策略的一致性进行审核。自动化过滤流水线结合多种检测策略:与已知 CSAM 和 NCII 参考数据库进行哈希匹配;基于分类器的内容审核模型(针对显性色情内容、仇恨言论、暴力、武器图像及其他受限类别进行训练);基于关键词和正则表达式的文本数据筛查(针对犯罪策划、威胁及自残相关表述);基于元数据和来源的启发式方法(识别源级风险信号);以及基于嵌入的异常检测(识别偏离预期分布的样本)。对于部分数据集、基准构建及安全性敏感评估,人工审核和针对性审计作为自动化过滤的补充。对于多模态 Physical AI 数据(机器人、自动驾驶、工业场景),额外过滤无效动作轨迹、物理上不合理的交互以及不安全的控制序列。合成数据和仿真生成数据在纳入训练前需通过内部验证。训练完成后,通过基准评估和红队测试来发现世界生成、推理、音频和动作任务中残余的安全漏洞。任何大规模数据过滤流程都无法保证完全移除所有有害内容;残余风险仍可能存在,尤其是在罕见的边缘场景或开放世界部署环境中。发布后,持续进行监控和数据集审查。
有关用于训练本模型的数据集的更多信息,请参阅训练内容公开摘要。
数据模态与训练数据规模
| 模态 | 推理数据样本数 | 生成数据样本数 |
|---|---|---|
| 文本 | 2200 万 | 不适用 |
| 图像 | 1900 万 | 7.67 亿 |
| 视频 | 100 万 | 3.48 亿 |
| 音频 | 不适用 | 1.39 亿 |
| 动作 | 不适用 | 700 万 |
各数据集的数据收集方式
各数据集的标注方式
特性: 训练、测试和评估数据集由多样化的多模态视频、图像、音频、动作、合成及传感器条件数据组成,数据来源包括 NVIDIA 自有数据和公开可商用许可的数据集。这些数据集经过精心筛选,排除了已知的受限内容,以支持构建一个 Omni 模型,使其能够在学习世界推理和生成任务中生成并推理动态物理环境。
| 数据集 | 样本量 |
|---|---|
| OpenImage | 120万 |
| Coyo700M | 1亿 |
| YouTube Video | 3.4亿 |
| UMI | 450万 |
| 数据集 | 样本量 |
|---|---|
| Egocentric | 700万 |
| Nexar | 60万 |
| AgiBot | 20万 |
| HOI | 30万 |
| 数据集 | 样本量 |
|---|---|
| 使用 HiDream-I1 生成的合成图像 | 1500万 |
| 使用 Qwen-Image-2512 生成的合成图像 | 1400万 |
| 使用 Qwen3-VL 生成的合成描述 | 11.15亿 |
各数据集的数据采集方式
各数据集的标注方式
属性说明: 训练、测试和评估数据集包含来自 NVIDIA 自有数据及公开、商用许可数据集的多样化多模态视频、图像、音频、动作、合成和传感器条件数据。这些数据经过精心筛选,排除了已知的受限内容,旨在支撑构建一个能够在世界推理与生成任务中学习动态物理环境并对其进行生成和推理的 Omni 模型。
我们在 Cosmos3 驾驶仿真评估数据集 中提供了控制输入和文本提示,以支持评估。Cosmos3-Nano-Sim-Auto 的结果使用这些文本提示;Cosmos-Transfer2.5-2B Multiview 基线则使用不同的提示。
我们在 720p 分辨率下对 Cosmos3-Nano-Sim-Auto 进行文生视频(T2V)和图生视频(I2V)设置下的评估,引导尺度为 1。该模型在四步去噪过程中,跨七个摄像头生成 297 帧。Cosmos-Transfer2.5-2B Multiview 使用引导尺度 3。Fréchet Inception Distance (FID) 用于比较生成帧与参考帧的特征分布;Fréchet Video Distance (FVD) 用于比较视频特征分布,其中 I3D 和 StyleGAN-V 的结果分别报告。DOVER 用于评估视频质量。
时间 Sampson 误差衡量匹配图像点在不同帧之间的几何一致性。相邻余弦均值(ACM)通过计算首帧之后每一帧与其前一帧及首帧之间的 CLIP 特征余弦相似度的平均值,来衡量单视角内的视觉一致性,其中负值相似度被截断为零。得分按每个摄像头的视频分别计算,然后在所有视角和样本上取平均。得分范围为 0 到 1,越高越好。ACM 不使用真值视频,也不衡量跨视角一致性。一段静止视频可能获得高分,因此仅凭 ACM 无法证明运动是真实的。
跨视角 Sampson 误差衡量不同摄像头视角之间的一致性,在两组或五组视角对上进行评估。
| 模型 | 帧 FID ↓ | FVD (I3D) ↓ | FVD (StyleGAN-V) ↓ | DOVER 技术分 ↑ | 时间 Sampson 误差 ↓ | 相邻余弦均值(ACM) ↑ | 跨视角 Sampson 误差,2 视角对(CSE2) ↓ | 跨视角 Sampson 误差,5 视角对(CSE5) ↓ |
|---|---|---|---|---|---|---|---|---|
| Cosmos-Transfer2.5-2B Multiview (Transfer-T2V, 引导尺度 3) | 61.9 | 772 | 770 | 8.56 | 0.530 | 0.885 | 2.51 | 2.07 |
| Cosmos3-Nano-Sim-Auto (T2V, 引导尺度 1) | 48.6 | 480 | 479 | 7.30 | 0.503 | 0.906 | 2.60 | 2.24 |
| Cosmos-Transfer2.5-2B Multiview (Transfer-I2V, 引导尺度 3) | 41.9 | 383 | 382 | 8.22 | 0.524 | 0.878 | 2.45 | 1.98 |
| Cosmos3-Nano-Sim-Auto (I2V, 引导尺度 1) | 33.6 | 325 | 324 | 7.51 | 0.505 | 0.900 | 2.36 | 2.09 |
我们在 T2V 设置下评估 Cosmos3-Nano-Sim-Auto 的 LiDAR 生成能力,使用四步去噪和引导尺度为 1。俯视图(BEV)JSD 采用 Jensen–Shannon 散度从上方比较生成点云与真实点云的分布;BEV MMD² 则使用平方最大均值差异进行互补的分布比较。Fréchet Utonia 距离和 Utonia MMD² 比较的是 Utonia 所提取的特征分布,Utonia 是一个预训练的点云编码器,用于提取三维几何特征。Chamfer 时间一致性(CTC)度量相邻自运动对齐扫描之间的几何变化;Vehicle CTC 将其应用于对齐到物体局部坐标的跟踪车辆裁剪区域。两者均以生成与真实 CTC 的比值报告,比值为 1 表示与真实扫描的平均时间距离一致。物体支撑召回率度量的是每帧中满足条件的标注物体里,其框裁剪区域内具有足够生成 LiDAR 点的比例。物体检测 F1 是相对于真值标注的精确率与召回率的调和平均,同类别的检测通过平面中心距离小于 3 m 进行匹配。LidarVerse 的结果分别在 21 帧和 116 帧扫描上报告,使用的是不同的评估子集。
| 模型 | BEV JSD, 全局 ↓ | BEV JSD, 局部 ↓ | BEV MMD^2 ↓ | Fréchet Utonia 距离 ↓ | Utonia MMD^2 ↓ | 时间 CTC / 真实值, k=1(越接近 1 越好) | Vehicle CTC / 真实值(越接近 1 越好) | 物体支撑召回率(真实 >=30,生成 >=10 个点)↑ | 物体检测 F1:生成 LiDAR vs GT @3m ↑ |
|---|---|---|---|---|---|---|---|---|---|
| LidarVerse(21 帧扫描) | 0.151 | 0.400 | 0.0120 | 33.6 | 0.0636 | 1.20 | 2.51 | 0.843 | 0.201 |
| LidarVerse(116 帧扫描) | 0.116 | 0.300 | 0.00644 | 44.8 | 0.0907 | 1.35 | 3.73 | 0.788 | 0.200 |
| Cosmos3-Nano-Sim-Auto (T2V, guidance 1) | 0.0552 | 0.277 | 0.00593 | 20.1 | 0.0354 | 1.28 | 3.59 | 0.816 | 0.188 |
测试硬件: NVIDIA Blackwell GB200, NVIDIA Hopper H100, H20
以下推理性能数据基于 vLLM-Omni 运行结果,采用 4 步去噪(无 CFG),生成 201 帧。
空单元格表示尚未报告测量数据。"-" 表示不支持。
无 LiDAR(单 GPU 推理吞吐量,帧/秒)
| Views | Res | GB200 | H100 | H20 |
|---|---|---|---|---|
| 1 | 480p | 16.8 | 10.2 | 3.59 |
| 720p | 10 | 4.7 | 1.5 | |
| 4 | 480p | 5.3 | 2.5 | 0.87 |
| 720p | 2.3 | 1.1 | 0.34 | |
| 5 | 480p | 4.1 | 2 | 0.69 |
| 720p | 1.8 | 0.85 | 0.26 | |
| 7 | 480p | 3 | 1.4 | 0.47 |
| 720p | 1.3 | 0.58 | 0.18 | |
| 8 | 480p | 2.6 | 1.2 | 0.4 |
| 720p | 1.1 | 0.49 | 0.15 | |
| 11 | 480p | 1.8 | 0.83 | 0.28 |
| 720p | 0.74 | - | 0.1 |
含 LiDAR(单 GPU 推理吞吐量,帧/秒)
| Views | Res | GB200 | H100 | H20 |
|---|---|---|---|---|
| 1 | 480p | 7.1 | 3.4 | 1.1 |
| 720p | 5.1 | 2.4 | 0.76 | |
| 4 | 480p | 3.4 | 1.6 | 0.54 |
| 720p | 1.9 | 0.84 | 0.26 | |
| 5 | 480p | 2.8 | 1.3 | 0.45 |
| 720p | 1.5 | - | 0.21 | |
| 7 | 480p | 2.2 | 1 | 0.34 |
| 720p | 1.1 | - | 0.15 | |
| 8 | 480p | 1.9 | 0.91 | 0.3 |
| 720p | 0.93 | - | 0.13 | |
| 11 | 480p | 1.4 | - | 0.22 |
| 720p | 0.65 | - | - |
多 GPU 优化正在进行中。
本示例使用 vLLM-Omni 部署模型,生成七路同步相机视频,每路 297 帧、30 FPS、分辨率 832 × 480,采用检查点中固定的四步采样器进行自回归生成。输入数据为 Cosmos3-Nano-Transfer-Auto 随附发布的日间样本,位于 assets/sample_data 目录:每路相机包含一个世界场景(WSM)控制视频、一个 RGB 视频(其首帧确定相机的初始外观)以及一条文本描述。该示例不生成 LiDAR 数据;如需同时生成相机和 LiDAR,请参阅完整 Notebook。
在一台配备 NVIDIA GPU 的 Linux 主机上(已在单卡 GB200 上测试),需安装 Docker 和 NVIDIA Container Toolkit:
# A 7-camera, 297-frame rollout can take longer than the default 600 s timeouts.
docker run --runtime nvidia --gpus all --ipc=host \
-v ~/.cache/huggingface:/root/.cache/huggingface \
--env "HF_TOKEN=$HF_TOKEN" \
--env VLLM_OMNI_VIDEO_SYNC_TIMEOUT=3600 \
--env VLLM_OMNI_DLO_DP_WAVE_TIMEOUT=3600 \
-p 127.0.0.1:8000:8000 \
vllm/vllm-omni:cosmos3 \
vllm serve nvidia/Cosmos3-Nano-Sim-Auto \
--omni --model-class-name Cosmos3NanoSimAutoPipeline \
--deploy-config /app/vllm-omni/vllm_omni/deploy/cosmos3_nano_sim_auto.yaml \
--no-guardrails \
--host 0.0.0.0 --port 8000 --init-timeout 1800容器会将服务器映射到宿主机的 127.0.0.1:8000。--deploy-config 用于选择 Sim-Auto 部署方案:AR-Diffusion 引擎、逐请求串行处理、滚动式键值缓存。--no-guardrails 用于禁用 Cosmos3 的文本与视频安全检测。首次启动时会自动下载检查点。
pip install requests huggingface_hubimport json
from pathlib import Path
import requests
from huggingface_hub import snapshot_download
MODEL = "nvidia/Cosmos3-Nano-Sim-Auto"
SAMPLE_REPO = "nvidia/Cosmos3-Nano-Transfer-Auto" # Publishes the shared daytime sample.
# The sample's seven cameras, in the checkpoint's camera order.
CAMERAS = [
"camera_front_wide_120fov",
"camera_cross_right_120fov",
"camera_rear_right_70fov",
"camera_rear_tele_30fov",
"camera_rear_left_70fov",
"camera_cross_left_120fov",
"camera_front_tele_30fov",
]
NUM_FRAMES = 297 # Must be 4k + 1.
# Download the sample's WSM controls, RGB videos, and captions (about 70 MB).
scene = Path(snapshot_download(SAMPLE_REPO, allow_patterns=[
"assets/sample_data/daytime_scene/wsm/*.mp4",
"assets/sample_data/daytime_scene/rgb/*.mp4",
"assets/sample_data/daytime_scene/captions/*.json",
])) / "assets/sample_data/daytime_scene"
def caption(camera):
data = json.loads((scene / "captions" / f"{camera}.json").read_text())
return data["caption_structured"]["chunk_0_300"]["caption"]
# One view per camera: its caption and the indexes of its WSM control and RGB video among the uploads.
views, files = [], []
for camera in CAMERAS:
views.append({
"camera_key": camera,
"prompt": caption(camera),
"control_reference_index": len(files),
"vision_reference_index": len(files) + 1,
})
for kind in ("wsm", "rgb"):
video = (scene / kind / f"{camera}.mp4").read_bytes()
files.append(("input_references", (f"{kind}_{camera}.mp4", video, "video/mp4")))
response = requests.post(
"http://127.0.0.1:8000/v1/videos/sync",
data={
"model": MODEL,
"prompt": views[0]["prompt"], # Required by the API; generation uses each view's prompt.
"size": "832x480",
"num_frames": NUM_FRAMES,
"fps": 30,
"guidance_scale": 1, # Fixed by the distilled checkpoint,
"num_inference_steps": 4, # as is its four-step sampler.
"seed": 0,
"extra_params": json.dumps({
"wsm": {},
"multiview": {"views": views, "condition_video_as_image": True},
"resolution": "480",
"aspect_ratio": "16,9",
}),
},
files=files,
timeout=3660,
)
response.raise_for_status()
Path("sim_auto.mp4").write_bytes(response.content)服务器仅使用每段 RGB 视频的第一帧,将每段 300 帧的控制视频裁剪至 num_frames 并缩放为 832 × 480。如需在保持相同道路和交通的情况下改变天气、光照或时间段,请编辑各视角的 prompt。
响应结果为一段以相机为主序的 MP4 文件:前 297 帧为第一个相机的画面,接下来 297 帧为第二个相机,依此类推,共七个相机。使用 FFmpeg 进行拆分,运行以下命令:
import subprocess
for index, camera in enumerate(CAMERAS):
start, end = index * NUM_FRAMES, (index + 1) * NUM_FRAMES
subprocess.run([
"ffmpeg", "-v", "error", "-y", "-i", "sim_auto.mp4",
"-vf", f"trim=start_frame={start}:end_frame={end},setpts=N/(30*TB)",
"-r", "30", "-an", f"{camera}.mp4",
], check=True)使用日间样本,输出效果如下,以环视视角进行拼接:前向摄像头位于上方,后向摄像头位于下方。每个摄像头从其 RGB 视频的第一帧开始播放。
SGLang 通过其 OpenAI 兼容的 Videos API 加载同一模型,生成与上文示例相同的 camera-major 视频。两者有两点不同:服务端从可访问的路径读取所有输入,而非接受上传,因此需要将样本下载到一个挂载到容器中的目录中;生成过程以异步任务方式运行,由客户端轮询获取结果。关于使用 SGLang 进行摄像头与 LiDAR 联合生成,请参阅 SGLang 笔记本。
在相同类型的宿主机上,使用已发布的 lmsysorg/sglang:dev 镜像,该镜像包含了来自 sgl-project/sglang#39475 的 Cosmos3 管线:
export SAMPLE_DIR="$PWD/cosmos3-daytime-sample" # Receives the inputs; the server reads them from this path.
export SGLANG_HF_CACHE="${SGLANG_HF_CACHE:-$HOME/.cache/sglang-huggingface}" # The container runs as root.
mkdir -p "$SAMPLE_DIR" "$SGLANG_HF_CACHE"
chmod 777 "$SGLANG_HF_CACHE"
docker pull lmsysorg/sglang:dev
docker run --init --runtime nvidia --gpus all --ipc=host \
-v "$SGLANG_HF_CACHE:/root/.cache/huggingface" \
-v "$SAMPLE_DIR:$SAMPLE_DIR" \
--env "HF_TOKEN=$HF_TOKEN" \
-p 127.0.0.1:30000:30000 \
lmsysorg/sglang:dev \
sglang serve \
--model-path nvidia/Cosmos3-Nano-Sim-Auto \
--host 0.0.0.0 --port 30000容器将服务发布到主机的 127.0.0.1:30000,并将 SAMPLE_DIR 挂载到相同路径,因此以下请求中的路径在容器内有效。dev 标签跟随 SGLang 主分支更新,每次启动前请先拉取。首次启动时会下载检查点;权重加载完成且预热请求结束后,HTTP 端口才会开放。此流水线不包含任何文本或视频护栏。使用 N 块 GPU(2、4 或 8 块)时,在 sglang serve 后追加 --num-gpus N --ulysses-degree N --sp-degree N,即可通过 Ulysses 序列并行将每个数据块拆分到各 GPU 上。
请在同一终端中运行以下命令,以确保 SAMPLE_DIR 已设置:
pip install requests huggingface_hubimport json
import os
import time
from pathlib import Path
import requests
from huggingface_hub import snapshot_download
MODEL = "nvidia/Cosmos3-Nano-Sim-Auto"
SAMPLE_REPO = "nvidia/Cosmos3-Nano-Transfer-Auto" # Publishes the shared daytime sample.
SERVER = "http://127.0.0.1:30000"
SAMPLE_DIR = Path(os.environ["SAMPLE_DIR"]).resolve() # Mounted into the server container at this path.
# The sample's seven cameras, in the checkpoint's camera order.
CAMERAS = [
"camera_front_wide_120fov",
"camera_cross_right_120fov",
"camera_rear_right_70fov",
"camera_rear_tele_30fov",
"camera_rear_left_70fov",
"camera_cross_left_120fov",
"camera_front_tele_30fov",
]
NUM_FRAMES = 297 # Must be 4k + 1.
# Download the sample's WSM controls, RGB videos, and captions (about 70 MB) into SAMPLE_DIR.
scene = Path(snapshot_download(SAMPLE_REPO, local_dir=SAMPLE_DIR, allow_patterns=[
"assets/sample_data/daytime_scene/wsm/*.mp4",
"assets/sample_data/daytime_scene/rgb/*.mp4",
"assets/sample_data/daytime_scene/captions/*.json",
])) / "assets/sample_data/daytime_scene"
def caption(camera):
data = json.loads((scene / "captions" / f"{camera}.json").read_text())
return data["caption_structured"]["chunk_0_300"]["caption"]
# One view per camera: its caption and the server-visible paths of its WSM control and RGB video.
views = [
{
"camera_key": camera,
"prompt": caption(camera),
"control_path": str(scene / "wsm" / f"{camera}.mp4"),
"vision_path": str(scene / "rgb" / f"{camera}.mp4"),
}
for camera in CAMERAS
]
form = {
"model": MODEL,
"prompt": views[0]["prompt"], # Required by the API; generation uses each view's prompt.
"size": "832x480",
"num_frames": str(NUM_FRAMES),
"fps": "30",
"guidance_scale": "1", # Fixed by the distilled checkpoint,
"num_inference_steps": "4", # as is its four-step sampler.
"seed": "0",
"extra_params": json.dumps({
"wsm": {},
"multiview": {"views": views, "condition_video_as_image": True, "num_frames": NUM_FRAMES},
"resolution": "480",
"aspect_ratio": "16,9",
}),
}
# Submit the job, poll it, and download the video. Nothing is uploaded: the form carries text fields only.
response = requests.post(f"{SERVER}/v1/videos", files=[(key, (None, value)) for key, value in form.items()], timeout=60)
response.raise_for_status()
job = response.json()
deadline = time.monotonic() + 3600
while job["status"] not in ("completed", "failed", "cancelled"):
if time.monotonic() > deadline:
raise TimeoutError(f"Job {job['id']} did not finish in time: {job}")
time.sleep(10)
job = requests.get(f"{SERVER}/v1/videos/{job['id']}", timeout=60).json()
if job["status"] != "completed":
raise RuntimeError(json.dumps(job, indent=2))
video = requests.get(f"{SERVER}/v1/videos/{job['id']}/content", timeout=600)
video.raise_for_status()
Path("sim_auto.mp4").write_bytes(video.content)服务器仅使用每段 RGB 视频的第一帧,将每段 300 帧的控制视频裁剪至 num_frames 帧,并将其缩放为 832 × 480。按上述第 3 步的方式拆分以相机为主序的输出。
NVIDIA 认为可信 AI 是一项共同责任,并已制定相关策略与实践,以支持各类 AI 应用的开发。开发者应与内部模型团队协作,确保该模型满足相关行业和使用场景的要求,并防范潜在的产品滥用风险。
请确保您对所有输入图像和视频内容拥有合法的权利和授权;如果图像或视频中包含人物、个人健康信息或知识产权,生成的图像或视频将不会模糊或保持其中图像主体的比例。
用户需对模型的输入和输出负责。用户有责任确保该模型的安全集成,包括在部署前实施护栏机制及其他安全机制。
有关该模型伦理考量的详细信息,请参阅 Model Card++ 中的可解释性、偏见、安全与隐私及隐私子卡片。如发现模型质量、风险、安全漏洞或 NVIDIA AI 相关问题,请通过此处进行报告。