HuggingFace镜像/Mugen
模型介绍文件和版本分析
下载使用量0

cover2

模型说明

Mugen 是我们 SDXL 到 Flux 2 VAE 转换工作的延续，重命名是为了表明其与原始 NoobAI 模型存在显著差异。

该模型额外训练了 7 个 epoch，完整的 latent 空间转换总成本不到 8000 美元，同时保留并增强了模型的动漫知识。

在本次迭代中，我们特别关注了角色表现，并开发了内部基准测试方法来评估其性能，详情如下。

总体而言，该模型在纹理和图案方面表现尤为出色，这些是 SDXL VAE 以前根本无法实现的。我们优先考虑保持训练的标准化友好性，以便社区能够像使用新的基础模型一样轻松地在其上进行训练，实际上它也确实具备基础模型的特性。

我们提供 4 个模型：

  • Mugen：基础模型。

  • Mugen - Aesthetic：在有限数据集上稍作调整，以获得更高质量的输出。

  • Mugen - Aesthetic - Anzhc/Selph：在经过主观筛选的数据集上进一步调整。

  • 开发团队： Cabal Research（Bluvoll、Anzhc）
  • 资金来源： 社区
  • 许可证： fair-ai-public-license-1.0-sd
  • 基于： NoobAI Flux2 VAE v0.3

角色知识基准测试

series_dashboard

unified_characters_standalone

此基准测试衡量当前迭代版本中 1815 个角色的相似度。为方便起见，我们收集了几个主要类别：抽卡游戏角色和虚拟主播。

我们使用参考（非生成）图像集，并将角色特征与 AI 生成数据进行比较——这就是相似度分数。我们使用了在约 120 万张图像上训练的内部定制角色判别模型。结果按分数随机排序，可将其视为总体角色知识指数，而非特定角色的指标。图表上的同一点可能对应也可能不对应同一个角色。

由于计算资源限制，我们只选择了一个模型进行比较——尚未发布的最新版本 Chenkin 模型，该模型目前是训练最充分的基于 SDXL 的动漫模型。

未来的基准测试迭代可能会包括不同的架构、更多模型和更多角色。

偏差与局限性

Danbooru 的一般性数据偏差可能适用。

Flux 2 VAE 整体上似乎存在偏棕色的问题，可通过在负面提示中添加 sepia 或 brown theme 来缓解。

模型输出示例

image-wall-2048x9941.784038936581

您可以从 这里 下载大部分图片作为参考。

建议

角色

虽然在基准测试中，我们仅使用角色自身的触发词且不添加辅助标签来测试角色，但建议结合系列/游戏名称以获得更好的一致性。起初可能无法正常生成的角色，添加外观标签后可能会开始正常工作。

推理

Comfy

изображение

基础工作流

我们将提供一个节点，并希望它最终能被原生适配到主仓库中：
https://github.com/Anzhc/SDXL-Flux2VAE-ComfyUI-Node

只需安装它，它将修补模型配置，无需更改节点。

SwarmUI 也只需安装该节点即可。

与常规推理相同，但需添加 SD3 采样节点，因为此模型是基于流（Flow）的。

推荐参数：
采样器：Euler A、Euler、DPM++ SDE 等。
步数：20-28
CFG：4-7
Shift：8-12
调度：Normal/Simple/SGM Uniform
正面质量标签：masterpiece, best quality
负面标签：worst quality, normal quality, bad anatomy, sepia

备选扩展负面标签：(worst quality:1.1), normal quality, (bad anatomy:1.1), (blurry:1.1), watermark, sepia, (adversarial noise:1.1), jpeg artifacts
（我们的一些测试者指出他们更喜欢较长的负面提示）

A1111 WebUI

推荐 WebUI：ReForge - 原生支持 Flow 模型，并且我们已提交 PR 以原生支持基于 Flux2vae 的 SDXL 修改。

如何在 ReForge 中使用：

изображение

ReForge 中对 RF 的支持正通过内置扩展实现：

изображение

重要提示

如果您使用预览功能，请将预览方法设置为此选项。

imagen

Flux2VAE 目前没有合适的高质量预览方法，请使用“Approx Cheap”选项，这样您可以看到简单的 PCA 投影（ReForge）。

推荐参数：
采样器：Euler A Comfy RF、Euler A2、Euler、DPM++ SDE Comfy 等。如果有 RF 或 Comfy 变体，必须使用它们。在 ComfyUI 中路由是自动的，但 WebUI 中并非如此。
步数：20-28
CFG：4-7（如果显得效果弱或有问题，可设为 7-15）
Shift：8-12
调度：Normal/Simple/SGM Uniform
正面质量标签：masterpiece, best quality
负面标签：worst quality, normal quality, bad anatomy, sepia

备选扩展负面标签：(worst quality:1.1), normal quality, (bad anatomy:1.1), (blurry:1.1), watermark, sepia, (adversarial noise:1.1), jpeg artifacts
（我们的一些测试者指出他们更喜欢较长的负面提示）

针对 RF 的 ADETAILER 修复： 默认情况下，Adetailer 会忽略 Advanced Model Sampling 扩展，这会导致 RF 无法正常工作。您需要在设置的此部分添加 AMS：

изображение

添加：advanced_model_sampling_script,advanced_model_sampling_script_backported 到此处。

如果这不起作用，请进入 adetailer 扩展，找到 args.py，打开它，像这样替换 _builtin_scripts：

изображение

以下是便于复制的内容：

_builtin_script = (
    "advanced_model_sampling_script",
    "advanced_model_sampling_script_backported",
    "hypertile_script",
    "soft_inpainting",
)

或者使用我 fork 的 Adetailer——https://github.com/Anzhc/aadetailer-reforge

LoRA 训练

你可以直接参考包含所有参数的配置：下载

изображение

硬件

模型是在云端 8xH100 节点上训练的。

软件

SD-Scripts 的自定义分支（由 Bluvoll 维护）

致谢

赞助商

特别感谢一位匿名支持者，他独自赞助了整个项目的运行

测试人员

  • ComradeAnanas
  • Daruda
  • Drac
  • itterative
  • kagame
  • Remix
  • Ryusho
  • edf
  • Epic
  • Ly
  • Panchovix
  • Rakosz
  • Sab
  • Silvelter
  • Talan
  • Void
  • Why ping

支持

如果你希望支持我们为让二次元角色形象提升 0.2% 所做的持续努力，可以通过以下方式进行：

**https://ko-fi.com/bluvoll**（Blu，捐赠用于支持训练）

https://ko-fi.com/anzhc（Anzhc，非训练用途，仅用于基本生活）

image

BTC：37fLcfxX5ewhJXnb3T9Qzu9jiSLjVtoUJX
ETH：0xfdF54655796bf2F5bf75192AeB562F8656c1C39E

如果想通过其他网络捐赠，请给 Blu 发送私信。