Z-Image-Turbo-Fun-Controlnet-Union

最新动态

新增了更多控制块和修复模式的控制模型已发布。

模型特点

• 此ControlNet添加了6个控制块。
• 该模型在包含通用内容和以人为中心内容的100万张高质量图像数据集上从头开始训练了10,000步。训练在1328分辨率下使用BFloat16精度进行，批大小为64，学习率为2e-5，文本 dropout 比率为0.10。
• 它支持多种控制条件——包括Canny、HED、Depth、Pose和MLSD，可像标准ControlNet一样使用。
• 您可以调整control_context_scale以获得更强的控制效果和更好的细节保留。为获得更好的稳定性，我们强烈建议使用详细的提示词。control_context_scale的最佳范围为0.65至0.80。

待办事项

• 使用更多数据进行更多步数的训练。
• 支持修复模式。

结果展示

姿态	输出

姿态	输出

边缘检测	输出

边缘检测（HED）	输出

深度图	输出

推理

有关更多详细信息，请访问 VideoX-Fun 代码库。

请克隆 VideoX-Fun 代码库并创建所需的目录：

# Clone the code
git clone https://github.com/aigc-apps/VideoX-Fun.git

# Enter VideoX-Fun's directory
cd VideoX-Fun

# Create model directories
mkdir -p models/Diffusion_Transformer
mkdir -p models/Personalized_Model

然后将权重下载到 models/Diffusion_Transformer 和 models/Personalized_Model 中。

📦 models/
├── 📂 Diffusion_Transformer/
│   └── 📂 Z-Image-Turbo/
├── 📂 Personalized_Model/
│   └── 📦 Z-Image-Turbo-Fun-Controlnet-Union.safetensors

然后运行文件 examples/z_image_fun/predict_t2i_control.py。