Open-Sora：让高效视频创作普及大众

我们推出Open-Sora，这是一项致力于高效生成高质量视频的计划，旨在让模型、工具和内容触手可及。秉持开源理念，Open-Sora不仅让先进的视频生成技术得以普及，更提供了一个流程化且易用的平台，简化了视频创作的复杂流程。借助Open-Sora，我们期望在内容创作领域激发创新、创造力与包容性。

Open-Sora目前仍处于早期阶段，正在积极开发中。

更多详情请参见Open-Sora GitHub。

📰 新闻

• [2024.03.18] 🔥 我们发布Open-Sora 1.0，这是一个完全开源的视频生成项目。Open-Sora 1.0支持完整的视频数据预处理、基于ColossalAI加速的训练、推理等全流程。我们提供的检查点仅需3天训练即可生成2秒512x512视频。[博客]
• [2024.03.04] Open-Sora实现训练成本降低46%。[博客]

🛠 使用方法

您可以在Gradio应用程序中使用此模型启动视频生成。

# git clone Open-Sora
git clone https://github.com/hpcaitech/Open-Sora.git
cd Open-Sora

# launch gradio
python scripts/demo.py --model-type v1-16x256x256

如果您想在代码中使用此 STDiT 模型，

from transformers import AutoModel

stdit = AutoModel.from_pretrained("hpcai-tech/OpenSora-STDiT-v1-16x256x256")

请注意，此模型本身无法生成视频，它需要与 VAE 模型和文本编码器模型配合使用，就像我们在演示中所做的那样。