Video Gallery with Captions

CogVideoX-2B

📍 前往清影和 API平台体验商业版视频生成模型

作品案例

一艘精致的木制玩具船，有着雕刻精美的桅杆和船帆，正平稳地滑过一块柔软的蓝色地毯，地毯宛如波涛起伏的大海。船身漆成浓郁的棕色，还带有小巧的窗户。这块柔软且富有质感的地毯，营造出一片广阔海洋的完美背景。船的周围散落着其他各式玩具和儿童用品，暗示着一个充满童趣的环境。这一场景捕捉了童年的纯真与想象力，玩具船的航行象征着在这个奇妙的室内世界里永无止境的冒险。

镜头跟拍一辆白色复古SUV，车顶装有黑色行李架，它正沿着陡峭的土路向上飞驰。道路两旁是陡峭山坡上的松树，轮胎卷起阵阵尘土。阳光洒在SUV上，为整个场景镀上一层温暖的光辉。土路蜿蜒伸向远方，视野内不见其他车辆。道路两侧是高大的红杉树，其间点缀着片片绿意。从后方视角看，汽车轻松地沿着弯道行驶，仿佛正在崎岖的地形中进行一场粗犷的越野之旅。土路本身被陡峭的丘陵和山脉环绕，头顶是清澈的蓝天，飘着几缕白云。

一位街头艺术家，身着一件磨损的牛仔夹克，头戴一条色彩鲜艳的头巾，站在市中心一面巨大的混凝土墙前，手持一罐喷漆，正在斑驳的墙面上喷涂一只五彩斑斓的鸟。

在一个饱受战争蹂躏的城市背景下，断壁残垣诉说着毁灭的故事。镜头聚焦于一个小女孩的特写，她的脸上沾满了灰尘，无声地见证着周围的混乱。她的眼中闪烁着悲伤与坚韧交织的光芒，捕捉到了一个因冲突而失去纯真的世界所饱含的原始情感。

模型介绍

CogVideoX是清影同源的开源版本视频生成模型。下表展示目前我们提供的视频生成模型列表，以及相关基础信息。

模型名	CogVideoX-2B (本仓库)	CogVideoX-5B
模型介绍	入门级模型，兼顾兼容性。运行、二次开发成本低。	视频生成质量更高、视觉效果更好的更大尺寸模型。
推理精度	*FP16(推荐)*, BF16, FP32，FP8，INT8，不支持INT4	BF16(推荐), FP16, FP32，FP8*，INT8，不支持INT4
单GPU显存消耗	SAT FP16: 18GB diffusers FP16: 4GB起* diffusers INT8(torchao): 3.6G起*	SAT BF16: 26GB diffusers BF16 : 5GB起* diffusers INT8(torchao): 4.4G起*
多GPU推理显存消耗	*FP16: 10GB using diffusers**	*BF16: 15GB using diffusers**
推理速度 (Step = 50, FP/BF16)	单卡A100: ~90秒单卡H100: ~45秒	单卡A100: ~180秒单卡H100: ~90秒
微调精度	FP16	BF16
微调显存消耗(每卡)	47 GB (bs=1, LORA) 61 GB (bs=2, LORA) 62GB (bs=1, SFT)	63 GB (bs=1, LORA) 80 GB (bs=2, LORA) 75GB (bs=1, SFT)
提示词语言	English*
提示词长度上限	226 Tokens
视频长度	6 秒
帧率	8 帧 / 秒
视频分辨率	720 * 480，不支持其他分辨率(含微调)
位置编码	3d_sincos_pos_embed	3d_rope_pos_embed

数据解释

使用 diffusers 库进行测试时，启用了全部diffusers库自带的优化，该方案未测试在非NVIDIA A100 / H100 外的设备上的实际显存 / 内存占用。通常，该方案可以适配于所有 NVIDIA 安培架构 以上的设备。若关闭优化，显存占用会成倍增加，峰值显存约为表格的3倍。但速度提升3-4倍左右。你可以选择性的关闭部分优化，这些优化包括:

pipe.enable_model_cpu_offload()
pipe.enable_sequential_cpu_offload()
pipe.vae.enable_slicing()
pipe.vae.enable_tiling()

进行多GPU推理时，需关闭 enable_model_cpu_offload() 优化。
使用 INT8 模型会导致推理速度下降，这样做是为了让显存较低的显卡能够正常推理，并尽可能减少视频质量损失，但推理速度会显著降低。
2B 模型采用 FP16 精度训练，5B 模型采用 BF16 精度训练。我们建议使用模型训练时的精度进行推理。
PytorchAO 和 Optimum-quanto 可用于量化文本编码器、Transformer 和 VAE 模块，从而降低 CogVideoX 的内存需求。这使得在免费的 T4 Colab 或显存更小的 GPU 上运行模型成为可能！同样值得注意的是，TorchAO 量化与 torch.compile 完全兼容，这能显著提升推理速度。在 NVIDIA H100 及以上设备上必须使用 FP8 精度，这需要从源码安装 torch、torchao、diffusers 和 accelerate Python 包。建议使用 CUDA 12.4。
推理速度测试同样采用了上述显存优化方案，若不采用显存优化，推理速度约提升10%。仅 diffusers 版本模型支持量化。
模型仅支持英语输入，其他语言可在通过大模型润色时翻译为英语。

提醒

使用 SAT 推理和微调 SAT 版本模型。欢迎前往我们的 github 查看。

快速上手 🤗

本模型已支持使用 diffusers 库进行部署，您可以按照以下步骤进行部署。

我们推荐您访问我们的 github 并查看相关的提示词优化和转换方法，以获得更好的体验。

安装对应的依赖

# diffusers>=0.30.1
# transformers>=0.44.0
# accelerate>=0.33.0 (suggest install from source)
# imageio-ffmpeg>=0.5.1
pip install --upgrade transformers accelerate diffusers imageio-ffmpeg

运行代码 (BF16 / FP16)

import torch
import torch_npu

from torch_npu.contrib import transfer_to_npu
from diffusers import CogVideoXPipeline
from diffusers.utils import export_to_video
from openmind_hub import snapshot_download

model_path = snapshot_download("AI-Research/CogVideoX-5B", revision="main", resume_download=True,
                                    ignore_patterns=["*.h5", "*.ot", "*.mspack"])

prompt = "A panda, dressed in a small, red jacket and a tiny hat, sits on a wooden stool in a serene bamboo forest. The panda's fluffy paws strum a miniature acoustic guitar, producing soft, melodic tunes. Nearby, a few other pandas gather, watching curiously and some clapping in rhythm. Sunlight filters through the tall bamboo, casting a gentle glow on the scene. The panda's face is expressive, showing concentration and joy as it plays. The background includes a small, flowing stream and vibrant green foliage, enhancing the peaceful and magical atmosphere of this unique musical performance."

pipe = CogVideoXPipeline.from_pretrained(
    model_path,
    torch_dtype=torch.float16
)

pipe.enable_model_cpu_offload()
pipe.enable_sequential_cpu_offload()
pipe.vae.enable_slicing()
pipe.vae.enable_tiling()

video = pipe(
    prompt=prompt,
    num_videos_per_prompt=1,
    num_inference_steps=50,
    num_frames=49,
    guidance_scale=6,
    generator=torch.Generator(device="npu").manual_seed(42),
).frames[0]

export_to_video(video, "output.mp4", fps=8)

深入研究

欢迎进入我们的 github，你将获得：

更加详细的技术细节介绍和代码解释。
提示词的优化和转换。
SAT版本模型进行推理和微调，甚至预发布。
项目更新日志动态，更多互动机会。
CogVideoX 工具链，帮助您更好的使用模型。
INT8 模型推理代码。

模型协议

CogVideoX-2B 模型 (包括其对应的Transformers模块，VAE模块) 根据 Apache 2.0 License 许可证发布。

CogVideoX-5B 模型 (Transformers 模块) 根据 CogVideoX LICENSE 许可证发布。

引用

@article{yang2024cogvideox,
  title={CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer},
  author={Yang, Zhuoyi and Teng, Jiayan and Zheng, Wendi and Ding, Ming and Huang, Shiyu and Xu, Jiazheng and Yang, Yuanming and Hong, Wenyi and Zhang, Xiaohan and Feng, Guanyu and others},
  journal={arXiv preprint arXiv:2408.06072},
  year={2024}
}