OpenSora-STDiT-v1-HQ-16x512x512:用户可借助此项目高效生成高质量视频，简化视频制作流程。它是 Open-Sora initiative 的一部分，支持视频数据预处理、ColossalAI 加速训练及推理等全流程，提供 Gradio 应用和代码调用方式。【此简介由AI生成】

Open-Sora：让高效视频创作普及大众

我们推出了Open-Sora，这是一项致力于高效生成高质量视频的计划，旨在让模型、工具和内容触手可及。通过秉持开源原则，Open-Sora不仅让先进的视频生成技术得以普及，还提供了一个流程简化、用户友好的平台，以降低视频创作的复杂性。借助Open-Sora，我们期望能激发内容创作领域的创新活力、无限创意与包容精神。

Open-Sora目前仍处于早期阶段，正在积极开发中。

更多详情请访问Open-Sora GitHub。

📰 最新动态

[2024.03.18] 🔥 我们发布了Open-Sora 1.0，这是一个完全开源的视频生成项目。Open-Sora 1.0支持完整的视频数据预处理、基于ColossalAI加速的训练、推理等全流程。我们提供的检查点仅需3天训练，即可生成2秒时长的512x512视频。[博客]
[2024.03.04] Open-Sora实现了46%的训练成本降低。[博客]

🛠 使用方法

您可以在Gradio应用程序中使用此模型启动视频生成。

# git clone Open-Sora
git clone https://github.com/hpcaitech/Open-Sora.git
cd Open-Sora

# launch gradio
python scripts/demo.py --model-type v1-HQ-16x512x512

如果您想在代码中使用此 STDiT 模型，

from transformers import AutoModel

stdit = AutoModel.from_pretrained("hpcai-tech/OpenSora-STDiT-v1-HQ-16x512x512")

请注意，此模型本身无法生成视频，它需要与 VAE 模型和文本编码器模型配合使用，就像我们在演示中所做的那样。