HuggingFace镜像/Cosmos3-Nano-Sim-Auto
模型介绍
文件和版本
分析

基于 Cosmos 的物理 AI 交互式世界仿真

Cosmos3 示例合集 | 代码 | 技术报告 | 官网

模型概览:Cosmos3-Nano-Sim-Auto

Cosmos3 product and examples lineage highlighting Cosmos3-Nano-Sim-Auto

图中高亮的检查点 Cosmos3-Nano-Sim-Auto 是 Cosmos3-Nano-Transfer-Auto 的因果蒸馏变体。

描述

Cosmos3-Nano-Sim-Auto 专为实时闭环驾驶仿真而设计,能够基于文本提示和 World Scenario Map(WSM)控制信号,生成多视角同步相机视频与 LiDAR 观测结果;当请求 LiDAR 输出时,还包括对齐的 LiDAR 控制信号。WSM 渲染器可将自动驾驶策略或人工方向盘输入转化为场景控制信号。该模型以缓存的历史帧和实时 WSM 控制为条件,逐块生成潜空间帧视频,使后续观测能够反映最新的驾驶输入变化。模型最多支持 11 个标准视角与鱼眼相机视角,并输出空间和时间对齐的 LiDAR 数据,可转换为 3D 点云。联合传感器输出支持在同一次推演中对多传感器感知栈和驾驶策略进行评测。推理吞吐量取决于硬件和生成配置。

Cosmos3-Nano-Sim-Auto 由 NVIDIA 开发,是 Cosmos 示例模型家族的一员。

如需快速上手,请参阅 Cosmos3-Nano-Sim-Auto 技能文档。

该模型可自由用于商业或非商业场景。

许可证

本模型基于 OpenMDW1.1 协议发布。

部署区域

全球

用例

面向自动驾驶车辆的物理 AI:闭环驾驶策略评估与验证,以及多传感器同步合成数据生成。

发布日期

  • Hugging Face 2026年10月20日,通过 https://huggingface.co/collections/nvidia/cosmos3-examples
  • GitHub 2026年10月20日,通过 https://github.com/nvidia/cosmos

模型架构

架构类型: Transformer

网络架构: Mixture-of-Transformers(MoT)

Cosmos3-Nano-Sim-Auto 基于 Cosmos3-Nano 经过两个阶段派生而来:第一阶段,在多传感器驾驶数据上进行后训练,数据包含 LiDAR,产出 Cosmos3-Nano-Transfer-Auto;第二阶段,进行因果蒸馏,产出一个少步模型,该模型以缓存历史和输入 WSM 控制为条件,以少量潜帧块为单位生成视频。缓存历史为跨生成块提供时序上下文。相机视图与 LiDAR 联合生成,以支持空间与时序一致性。

本模型使用 Cosmos Framework 开发。

可训练模型参数量: 16B

输入

  • 输入类型: 文本;视频(世界场景图(WSM)相机控制);图像(可选的初始 RGB 条件输入);其他:数值型 LiDAR 控制及可选的实测 LiDAR 条件输入。
  • 输入格式:
    • 文本: 字符串(场景描述:天气、光照、时段;同时承载相机配置信息)
    • 世界场景图(WSM)相机控制: 同步 MP4 视频,内容为渲染的场景结构(包括车道标线和物体包围盒),每个选定的相机视图对应一个视频。
    • LiDAR 控制: 与相机控制对齐的、基于高精地图的距离图序列,以支持的距离图归档或张量格式提供。生成 LiDAR 时为必需输入。
    • 可选 RGB 条件输入: 同步的初始相机图像,可直接提供或从各相机视频的首帧中提取。
    • 可选 LiDAR 条件输入: 以支持的距离/强度表示提供的初始实测 LiDAR 扫描,与相机和控制序列的起始时间对齐。
  • 输入参数:
    • 文本: 一维(1D)
    • WSM 相机控制: 三维(3D),每个视图独立
    • 可选 RGB 条件输入: 二维(2D),每幅图像独立
    • 高精地图/LiDAR 控制: 三维(3D)投影距离图序列:时间 × 高度 × 宽度。
    • 可选 LiDAR 条件输入: 每次初始扫描的二维(2D)距离视图图:高度 × 宽度,包含距离、强度和有效性通道。
  • 输入相关其他属性:
    • 对于实测 LiDAR 条件输入,当前因果推理路径仅支持一次初始扫描;不支持更长的实测前缀。
    • 支持的相机配置组包含 1–11 个视图(Hyperion 8.1 相机组:前广角 120°、前长焦 30°、左/右侧方 120°、左/右后侧 70°、后长焦 30°,以及前/左/右/后鱼眼 200°)和 128 线旋转 LiDAR。
    • 用户可通过输入配置选择最多 11 个受支持的相机视图。如需适配自定义相机配置组,首先使用 Transfer-Auto 技能 对 Transfer-Auto 进行后训练,然后使用 Sim-Auto 技能 执行因果蒸馏。
    • WSM 控制由 WSM 渲染器基于自动驾驶策略的规划轨迹或人工操控方向盘界面生成。详细信息请参阅 Cosmos3-Nano-Sim-Auto 技能。

输出

  • 输出类型: 视频(多视角,同步)、LiDAR
  • 输出格式:
    • 视频: MP4 或流式视频帧,每个相机视角(标准镜头与鱼眼镜头)对应一路视频流
    • LiDAR: 距离图和强度图,转换为带逐点强度的三维点云
  • 输出参数:
    • 视频: 三维(3D),按视角输出
    • LiDAR: 三维(3D)
  • 输出相关特性:
    • 相机视频与 LiDAR 观测在空间和时间上保持同步。
    • 支持 480p 或 720p 分辨率的视频输出,所有选定视角的输出帧率为 10–30 帧/秒(fps)。
    • 支持的推理硬件包括但不限于 H 系列(H100/H20/H200)和 B/GB 系列(B200/300, GB200/300)GPU。
    • 输出视频帧率描述的是播放时序;推理吞吐量另行报告。

我们的 AI 模型专为 NVIDIA GPU 加速系统设计/优化。借助 NVIDIA 的硬件(如 GPU 核心)和软件框架(如 CUDA 库),与纯 CPU 方案相比,模型可实现更快的训练和推理速度。

软件集成

运行时引擎:

  • PyTorch
  • vLLM-Omni
  • SGLang

支持的硬件微架构:

  • NVIDIA Blackwell
  • NVIDIA Hopper

操作系统:

  • Linux(其他操作系统尚未经过测试)。

将基础模型和微调模型集成到 AI 系统中时,需要使用特定场景的数据进行额外测试,以确保安全、有效地部署。遵循 V 模型方法论,在单元级和系统级进行迭代测试与验证至关重要,以降低风险、满足技术与功能需求,并确保在部署前符合安全与道德标准。

模型版本

Cosmos3-Nano-Sim-Auto — V1.0(2026/10/20)

Cosmos3-Nano-Sim-Auto 是 Cosmos3-Nano-Transfer-Auto 的因果蒸馏变体,而后者是 Cosmos3-Nano 的后续训练变体。

训练与评估数据集

后训练数据集

数据模态: 视频、文本和 LiDAR。

后训练数据规模:

  • 文本: 10 亿至 10 万亿 Token
  • 视频: 1 万小时至 100 万小时
  • LiDAR: 少于 1 万小时的 LiDAR 距离/强度图序列

数据收集方式: 混合模式:自动采集/传感器采集、合成数据、自动化处理。

标注方式: 混合模式:人工标注、自动化标注。

特性: 后训练数据集由多摄像头驾驶视频、对应的英文描述文本以及源自 NVIDIA 自研驾驶数据集的 LiDAR 观测数据组成。

数据集概览

  • 总规模: 13 亿条数据
  • 数据集总数: 393 个数据集条目
  • 数据集划分: 训练集 [100%],测试集 [不适用 — 使用独立评估基准],验证集 [不适用 — 使用独立评估基准]
  • 训练数据采集时间范围: 2024–2026
  • 验证数据采集时间范围: 不适用(采用标准公开基准)

来自内部和外部的原始数据经过多轮筛选、过滤和质量审核,转化为可用于训练的数据。数据采集涵盖多样化的多模态来源——机器人、自动驾驶、工业场景、室内外环境、不同光照和天气条件、不同摄像头视角、不同物体类别以及人类活动——以拓宽对 Physical AI 运行环境的覆盖范围。自动化过滤流水线用于剔除损坏、重复、低质量及受限制的内容。在预处理阶段,会应用元数据分析、启发式规则和模型辅助分类器,以标记异常分布和低多样性子集。对于部分数据集、基准构建及针对性质量分析,人工审核作为自动化过滤的补充。数据集在各模态和任务类别之间进行均衡——视觉推理、文本生成图像、文本生成视频、图像生成视频、音频生成、视频风格迁移、动作条件生成和动作指令生成——以减少狭窄领域的过度表示。合成数据和基于仿真的增强用于补充罕见物理交互和边缘场景的覆盖。在整个语料库中应用去重和来源追踪。最终处理后的数据在训练开始前,通过各模态专用的预处理器转化为模型就绪的 Token 化或编码表示。

训练数据集经过多层自动化和人工保障机制的处理,旨在降低各类有害或违反策略内容的占比,涵盖的类别包括武器及武器相关教学内容、犯罪策划、儿童性虐待材料(CSAM)、非自愿私密影像(NCII)、涉及未成年人的性内容、骚扰、仇恨言论、粗俗用语、威胁与暴力煽动、自残或自杀相关内容以及血腥暴力。数据源在进入训练语料库之前,会就许可兼容性、来源可追溯性以及与内部数据治理和安全策略的一致性进行审核。自动化过滤流水线结合多种检测策略:与已知 CSAM 和 NCII 参考数据库进行哈希匹配;基于分类器的内容审核模型(针对显性色情内容、仇恨言论、暴力、武器图像及其他受限类别进行训练);基于关键词和正则表达式的文本数据筛查(针对犯罪策划、威胁及自残相关表述);基于元数据和来源的启发式方法(识别源级风险信号);以及基于嵌入的异常检测(识别偏离预期分布的样本)。对于部分数据集、基准构建及安全性敏感评估,人工审核和针对性审计作为自动化过滤的补充。对于多模态 Physical AI 数据(机器人、自动驾驶、工业场景),额外过滤无效动作轨迹、物理上不合理的交互以及不安全的控制序列。合成数据和仿真生成数据在纳入训练前需通过内部验证。训练完成后,通过基准评估和红队测试来发现世界生成、推理、音频和动作任务中残余的安全漏洞。任何大规模数据过滤流程都无法保证完全移除所有有害内容;残余风险仍可能存在,尤其是在罕见的边缘场景或开放世界部署环境中。发布后,持续进行监控和数据集审查。

有关用于训练本模型的数据集的更多信息,请参阅训练内容公开摘要。

数据模态与训练数据规模

模态推理数据样本数生成数据样本数
文本2200 万不适用
图像1900 万7.67 亿
视频100 万3.48 亿
音频不适用1.39 亿
动作不适用700 万

各数据集的数据收集方式

  • 混合模式:自动采集/传感器采集、合成数据、自动化处理

各数据集的标注方式

  • 混合模式:人工标注、自动化标注

特性: 训练、测试和评估数据集由多样化的多模态视频、图像、音频、动作、合成及传感器条件数据组成,数据来源包括 NVIDIA 自有数据和公开可商用许可的数据集。这些数据集经过精心筛选,排除了已知的受限内容,以支持构建一个 Omni 模型,使其能够在学习世界推理和生成任务中生成并推理动态物理环境。

公开数据集

数据集样本量
OpenImage120万
Coyo700M1亿
YouTube Video3.4亿
UMI450万

私有数据集

数据集样本量
Egocentric700万
Nexar60万
AgiBot20万
HOI30万

合成数据集

数据集样本量
使用 HiDream-I1 生成的合成图像1500万
使用 Qwen-Image-2512 生成的合成图像1400万
使用 Qwen3-VL 生成的合成描述11.15亿

评估数据集

各数据集的数据采集方式

  • 混合:自动/传感器采集、合成、自动化

各数据集的标注方式

  • 混合:人工标注、自动化

属性说明: 训练、测试和评估数据集包含来自 NVIDIA 自有数据及公开、商用许可数据集的多样化多模态视频、图像、音频、动作、合成和传感器条件数据。这些数据经过精心筛选,排除了已知的受限内容,旨在支撑构建一个能够在世界推理与生成任务中学习动态物理环境并对其进行生成和推理的 Omni 模型。

质量基准

我们在 Cosmos3 驾驶仿真评估数据集 中提供了控制输入和文本提示,以支持评估。Cosmos3-Nano-Sim-Auto 的结果使用这些文本提示;Cosmos-Transfer2.5-2B Multiview 基线则使用不同的提示。

多视角 RGB 质量

我们在 720p 分辨率下对 Cosmos3-Nano-Sim-Auto 进行文生视频(T2V)和图生视频(I2V)设置下的评估,引导尺度为 1。该模型在四步去噪过程中,跨七个摄像头生成 297 帧。Cosmos-Transfer2.5-2B Multiview 使用引导尺度 3。Fréchet Inception Distance (FID) 用于比较生成帧与参考帧的特征分布;Fréchet Video Distance (FVD) 用于比较视频特征分布,其中 I3D 和 StyleGAN-V 的结果分别报告。DOVER 用于评估视频质量。

时间 Sampson 误差衡量匹配图像点在不同帧之间的几何一致性。相邻余弦均值(ACM)通过计算首帧之后每一帧与其前一帧及首帧之间的 CLIP 特征余弦相似度的平均值,来衡量单视角内的视觉一致性,其中负值相似度被截断为零。得分按每个摄像头的视频分别计算,然后在所有视角和样本上取平均。得分范围为 0 到 1,越高越好。ACM 不使用真值视频,也不衡量跨视角一致性。一段静止视频可能获得高分,因此仅凭 ACM 无法证明运动是真实的。

跨视角 Sampson 误差衡量不同摄像头视角之间的一致性,在两组或五组视角对上进行评估。

模型帧 FID ↓FVD (I3D) ↓FVD (StyleGAN-V) ↓DOVER 技术分 ↑时间 Sampson 误差 ↓相邻余弦均值(ACM) ↑跨视角 Sampson 误差,2 视角对(CSE2) ↓跨视角 Sampson 误差,5 视角对(CSE5) ↓
Cosmos-Transfer2.5-2B Multiview
(Transfer-T2V, 引导尺度 3)
61.97727708.560.5300.8852.512.07
Cosmos3-Nano-Sim-Auto
(T2V, 引导尺度 1)
48.64804797.300.5030.9062.602.24
Cosmos-Transfer2.5-2B Multiview
(Transfer-I2V, 引导尺度 3)
41.93833828.220.5240.8782.451.98
Cosmos3-Nano-Sim-Auto
(I2V, 引导尺度 1)
33.63253247.510.5050.9002.362.09

LiDAR 生成(T2V)

我们在 T2V 设置下评估 Cosmos3-Nano-Sim-Auto 的 LiDAR 生成能力,使用四步去噪和引导尺度为 1。俯视图(BEV)JSD 采用 Jensen–Shannon 散度从上方比较生成点云与真实点云的分布;BEV MMD² 则使用平方最大均值差异进行互补的分布比较。Fréchet Utonia 距离和 Utonia MMD² 比较的是 Utonia 所提取的特征分布,Utonia 是一个预训练的点云编码器,用于提取三维几何特征。Chamfer 时间一致性(CTC)度量相邻自运动对齐扫描之间的几何变化;Vehicle CTC 将其应用于对齐到物体局部坐标的跟踪车辆裁剪区域。两者均以生成与真实 CTC 的比值报告,比值为 1 表示与真实扫描的平均时间距离一致。物体支撑召回率度量的是每帧中满足条件的标注物体里,其框裁剪区域内具有足够生成 LiDAR 点的比例。物体检测 F1 是相对于真值标注的精确率与召回率的调和平均,同类别的检测通过平面中心距离小于 3 m 进行匹配。LidarVerse 的结果分别在 21 帧和 116 帧扫描上报告,使用的是不同的评估子集。

模型BEV JSD, 全局 ↓BEV JSD, 局部 ↓BEV MMD^2 ↓Fréchet Utonia 距离 ↓Utonia MMD^2 ↓时间 CTC / 真实值, k=1(越接近 1 越好)Vehicle CTC / 真实值(越接近 1 越好)物体支撑召回率(真实 >=30,生成 >=10 个点)↑物体检测 F1:生成 LiDAR vs GT @3m ↑
LidarVerse(21 帧扫描)0.1510.4000.012033.60.06361.202.510.8430.201
LidarVerse(116 帧扫描)0.1160.3000.0064444.80.09071.353.730.7880.200
Cosmos3-Nano-Sim-Auto
(T2V, guidance 1)
0.05520.2770.0059320.10.03541.283.590.8160.188

推理

加速引擎: PyTorch, vLLM-Omni

测试硬件: NVIDIA Blackwell GB200, NVIDIA Hopper H100, H20

以下推理性能数据基于 vLLM-Omni 运行结果,采用 4 步去噪(无 CFG),生成 201 帧。

空单元格表示尚未报告测量数据。"-" 表示不支持。

推理性能

无 LiDAR(单 GPU 推理吞吐量,帧/秒)

ViewsResGB200H100H20
1480p16.810.23.59
720p104.71.5
4480p5.32.50.87
720p2.31.10.34
5480p4.120.69
720p1.80.850.26
7480p31.40.47
720p1.30.580.18
8480p2.61.20.4
720p1.10.490.15
11480p1.80.830.28
720p0.74-0.1

含 LiDAR(单 GPU 推理吞吐量,帧/秒)

ViewsResGB200H100H20
1480p7.13.41.1
720p5.12.40.76
4480p3.41.60.54
720p1.90.840.26
5480p2.81.30.45
720p1.5-0.21
7480p2.210.34
720p1.1-0.15
8480p1.90.910.3
720p0.93-0.13
11480p1.4-0.22
720p0.65--

多 GPU 优化正在进行中。

使用示例

快速开始

本示例使用 vLLM-Omni 部署模型,生成七路同步相机视频,每路 297 帧、30 FPS、分辨率 832 × 480,采用检查点中固定的四步采样器进行自回归生成。输入数据为 Cosmos3-Nano-Transfer-Auto 随附发布的日间样本,位于 assets/sample_data 目录:每路相机包含一个世界场景(WSM)控制视频、一个 RGB 视频(其首帧确定相机的初始外观)以及一条文本描述。该示例不生成 LiDAR 数据;如需同时生成相机和 LiDAR,请参阅完整 Notebook。

1. 启动服务器

在一台配备 NVIDIA GPU 的 Linux 主机上(已在单卡 GB200 上测试),需安装 Docker 和 NVIDIA Container Toolkit:

# A 7-camera, 297-frame rollout can take longer than the default 600 s timeouts.
docker run --runtime nvidia --gpus all --ipc=host \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  --env "HF_TOKEN=$HF_TOKEN" \
  --env VLLM_OMNI_VIDEO_SYNC_TIMEOUT=3600 \
  --env VLLM_OMNI_DLO_DP_WAVE_TIMEOUT=3600 \
  -p 127.0.0.1:8000:8000 \
  vllm/vllm-omni:cosmos3 \
  vllm serve nvidia/Cosmos3-Nano-Sim-Auto \
    --omni --model-class-name Cosmos3NanoSimAutoPipeline \
    --deploy-config /app/vllm-omni/vllm_omni/deploy/cosmos3_nano_sim_auto.yaml \
    --no-guardrails \
    --host 0.0.0.0 --port 8000 --init-timeout 1800

容器会将服务器映射到宿主机的 127.0.0.1:8000。--deploy-config 用于选择 Sim-Auto 部署方案:AR-Diffusion 引擎、逐请求串行处理、滚动式键值缓存。--no-guardrails 用于禁用 Cosmos3 的文本与视频安全检测。首次启动时会自动下载检查点。

2. 生成摄像头视频

pip install requests huggingface_hub
import json
from pathlib import Path

import requests
from huggingface_hub import snapshot_download

MODEL = "nvidia/Cosmos3-Nano-Sim-Auto"
SAMPLE_REPO = "nvidia/Cosmos3-Nano-Transfer-Auto"  # Publishes the shared daytime sample.
# The sample's seven cameras, in the checkpoint's camera order.
CAMERAS = [
    "camera_front_wide_120fov",
    "camera_cross_right_120fov",
    "camera_rear_right_70fov",
    "camera_rear_tele_30fov",
    "camera_rear_left_70fov",
    "camera_cross_left_120fov",
    "camera_front_tele_30fov",
]
NUM_FRAMES = 297  # Must be 4k + 1.

# Download the sample's WSM controls, RGB videos, and captions (about 70 MB).
scene = Path(snapshot_download(SAMPLE_REPO, allow_patterns=[
    "assets/sample_data/daytime_scene/wsm/*.mp4",
    "assets/sample_data/daytime_scene/rgb/*.mp4",
    "assets/sample_data/daytime_scene/captions/*.json",
])) / "assets/sample_data/daytime_scene"

def caption(camera):
    data = json.loads((scene / "captions" / f"{camera}.json").read_text())
    return data["caption_structured"]["chunk_0_300"]["caption"]

# One view per camera: its caption and the indexes of its WSM control and RGB video among the uploads.
views, files = [], []
for camera in CAMERAS:
    views.append({
        "camera_key": camera,
        "prompt": caption(camera),
        "control_reference_index": len(files),
        "vision_reference_index": len(files) + 1,
    })
    for kind in ("wsm", "rgb"):
        video = (scene / kind / f"{camera}.mp4").read_bytes()
        files.append(("input_references", (f"{kind}_{camera}.mp4", video, "video/mp4")))

response = requests.post(
    "http://127.0.0.1:8000/v1/videos/sync",
    data={
        "model": MODEL,
        "prompt": views[0]["prompt"],  # Required by the API; generation uses each view's prompt.
        "size": "832x480",
        "num_frames": NUM_FRAMES,
        "fps": 30,
        "guidance_scale": 1,  # Fixed by the distilled checkpoint,
        "num_inference_steps": 4,  # as is its four-step sampler.
        "seed": 0,
        "extra_params": json.dumps({
            "wsm": {},
            "multiview": {"views": views, "condition_video_as_image": True},
            "resolution": "480",
            "aspect_ratio": "16,9",
        }),
    },
    files=files,
    timeout=3660,
)
response.raise_for_status()
Path("sim_auto.mp4").write_bytes(response.content)

服务器仅使用每段 RGB 视频的第一帧,将每段 300 帧的控制视频裁剪至 num_frames 并缩放为 832 × 480。如需在保持相同道路和交通的情况下改变天气、光照或时间段,请编辑各视角的 prompt。

3. 按相机拆分输出

响应结果为一段以相机为主序的 MP4 文件:前 297 帧为第一个相机的画面,接下来 297 帧为第二个相机,依此类推,共七个相机。使用 FFmpeg 进行拆分,运行以下命令:

import subprocess

for index, camera in enumerate(CAMERAS):
    start, end = index * NUM_FRAMES, (index + 1) * NUM_FRAMES
    subprocess.run([
        "ffmpeg", "-v", "error", "-y", "-i", "sim_auto.mp4",
        "-vf", f"trim=start_frame={start}:end_frame={end},setpts=N/(30*TB)",
        "-r", "30", "-an", f"{camera}.mp4",
    ], check=True)

使用日间样本,输出效果如下,以环视视角进行拼接:前向摄像头位于上方,后向摄像头位于下方。每个摄像头从其 RGB 视频的第一帧开始播放。

使用 SGLang 快速上手

SGLang 通过其 OpenAI 兼容的 Videos API 加载同一模型,生成与上文示例相同的 camera-major 视频。两者有两点不同:服务端从可访问的路径读取所有输入,而非接受上传,因此需要将样本下载到一个挂载到容器中的目录中;生成过程以异步任务方式运行,由客户端轮询获取结果。关于使用 SGLang 进行摄像头与 LiDAR 联合生成,请参阅 SGLang 笔记本。

1. 启动服务端

在相同类型的宿主机上,使用已发布的 lmsysorg/sglang:dev 镜像,该镜像包含了来自 sgl-project/sglang#39475 的 Cosmos3 管线:

export SAMPLE_DIR="$PWD/cosmos3-daytime-sample"  # Receives the inputs; the server reads them from this path.
export SGLANG_HF_CACHE="${SGLANG_HF_CACHE:-$HOME/.cache/sglang-huggingface}"  # The container runs as root.
mkdir -p "$SAMPLE_DIR" "$SGLANG_HF_CACHE"
chmod 777 "$SGLANG_HF_CACHE"
docker pull lmsysorg/sglang:dev
docker run --init --runtime nvidia --gpus all --ipc=host \
  -v "$SGLANG_HF_CACHE:/root/.cache/huggingface" \
  -v "$SAMPLE_DIR:$SAMPLE_DIR" \
  --env "HF_TOKEN=$HF_TOKEN" \
  -p 127.0.0.1:30000:30000 \
  lmsysorg/sglang:dev \
  sglang serve \
    --model-path nvidia/Cosmos3-Nano-Sim-Auto \
    --host 0.0.0.0 --port 30000

容器将服务发布到主机的 127.0.0.1:30000,并将 SAMPLE_DIR 挂载到相同路径,因此以下请求中的路径在容器内有效。dev 标签跟随 SGLang 主分支更新,每次启动前请先拉取。首次启动时会下载检查点;权重加载完成且预热请求结束后,HTTP 端口才会开放。此流水线不包含任何文本或视频护栏。使用 N 块 GPU(2、4 或 8 块)时,在 sglang serve 后追加 --num-gpus N --ulysses-degree N --sp-degree N,即可通过 Ulysses 序列并行将每个数据块拆分到各 GPU 上。

2. 生成相机视频

请在同一终端中运行以下命令,以确保 SAMPLE_DIR 已设置:

pip install requests huggingface_hub
import json
import os
import time
from pathlib import Path

import requests
from huggingface_hub import snapshot_download

MODEL = "nvidia/Cosmos3-Nano-Sim-Auto"
SAMPLE_REPO = "nvidia/Cosmos3-Nano-Transfer-Auto"  # Publishes the shared daytime sample.
SERVER = "http://127.0.0.1:30000"
SAMPLE_DIR = Path(os.environ["SAMPLE_DIR"]).resolve()  # Mounted into the server container at this path.
# The sample's seven cameras, in the checkpoint's camera order.
CAMERAS = [
    "camera_front_wide_120fov",
    "camera_cross_right_120fov",
    "camera_rear_right_70fov",
    "camera_rear_tele_30fov",
    "camera_rear_left_70fov",
    "camera_cross_left_120fov",
    "camera_front_tele_30fov",
]
NUM_FRAMES = 297  # Must be 4k + 1.

# Download the sample's WSM controls, RGB videos, and captions (about 70 MB) into SAMPLE_DIR.
scene = Path(snapshot_download(SAMPLE_REPO, local_dir=SAMPLE_DIR, allow_patterns=[
    "assets/sample_data/daytime_scene/wsm/*.mp4",
    "assets/sample_data/daytime_scene/rgb/*.mp4",
    "assets/sample_data/daytime_scene/captions/*.json",
])) / "assets/sample_data/daytime_scene"

def caption(camera):
    data = json.loads((scene / "captions" / f"{camera}.json").read_text())
    return data["caption_structured"]["chunk_0_300"]["caption"]

# One view per camera: its caption and the server-visible paths of its WSM control and RGB video.
views = [
    {
        "camera_key": camera,
        "prompt": caption(camera),
        "control_path": str(scene / "wsm" / f"{camera}.mp4"),
        "vision_path": str(scene / "rgb" / f"{camera}.mp4"),
    }
    for camera in CAMERAS
]

form = {
    "model": MODEL,
    "prompt": views[0]["prompt"],  # Required by the API; generation uses each view's prompt.
    "size": "832x480",
    "num_frames": str(NUM_FRAMES),
    "fps": "30",
    "guidance_scale": "1",  # Fixed by the distilled checkpoint,
    "num_inference_steps": "4",  # as is its four-step sampler.
    "seed": "0",
    "extra_params": json.dumps({
        "wsm": {},
        "multiview": {"views": views, "condition_video_as_image": True, "num_frames": NUM_FRAMES},
        "resolution": "480",
        "aspect_ratio": "16,9",
    }),
}

# Submit the job, poll it, and download the video. Nothing is uploaded: the form carries text fields only.
response = requests.post(f"{SERVER}/v1/videos", files=[(key, (None, value)) for key, value in form.items()], timeout=60)
response.raise_for_status()
job = response.json()
deadline = time.monotonic() + 3600
while job["status"] not in ("completed", "failed", "cancelled"):
    if time.monotonic() > deadline:
        raise TimeoutError(f"Job {job['id']} did not finish in time: {job}")
    time.sleep(10)
    job = requests.get(f"{SERVER}/v1/videos/{job['id']}", timeout=60).json()
if job["status"] != "completed":
    raise RuntimeError(json.dumps(job, indent=2))
video = requests.get(f"{SERVER}/v1/videos/{job['id']}/content", timeout=600)
video.raise_for_status()
Path("sim_auto.mp4").write_bytes(video.content)

服务器仅使用每段 RGB 视频的第一帧,将每段 300 帧的控制视频裁剪至 num_frames 帧,并将其缩放为 832 × 480。按上述第 3 步的方式拆分以相机为主序的输出。

伦理考量

NVIDIA 认为可信 AI 是一项共同责任,并已制定相关策略与实践,以支持各类 AI 应用的开发。开发者应与内部模型团队协作,确保该模型满足相关行业和使用场景的要求,并防范潜在的产品滥用风险。

请确保您对所有输入图像和视频内容拥有合法的权利和授权;如果图像或视频中包含人物、个人健康信息或知识产权,生成的图像或视频将不会模糊或保持其中图像主体的比例。

用户需对模型的输入和输出负责。用户有责任确保该模型的安全集成,包括在部署前实施护栏机制及其他安全机制。

有关该模型伦理考量的详细信息,请参阅 Model Card++ 中的可解释性、偏见、安全与隐私及隐私子卡片。如发现模型质量、风险、安全漏洞或 NVIDIA AI 相关问题,请通过此处进行报告。