MOSS-Image-SFT

MOSS-Image-SFT 是 OpenMOSS 旗下 MOSS-Image 系列中的一个监督微调文生图模型，基于 MOSS-Image-Base 构建。它采用相同的架构与推理流程，支持自然语言提示词、标签序列及 JSON 布局，用于控制文本排版与对象排布。

Base 与 SFT 对比

在此示例中，SFT 生成了更清晰的文本分组和更整洁的白板布局。

MOSS-Image-Base	MOSS-Image-SFT

快速开始

请使用 Python 3.10 或更高版本，以及支持 CUDA 的 NVIDIA GPU。安装与您的 CUDA 环境兼容的 PyTorch 2.9 或更高版本，然后安装：

pip install "diffusers>=0.38" "transformers>=5.3" "accelerate>=1.10" "safetensors>=0.6" "Pillow>=10"

import torch
from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained(
    "OpenMOSS-Team/MOSS-Image-SFT",
    custom_pipeline="pipeline_moss_image",
    trust_remote_code=True,
    torch_dtype={"default": torch.bfloat16, "vae": torch.float32},
)
pipe.scheduler = type(pipe.scheduler).from_config(pipe.scheduler.config)
pipe.to("cuda")

prompt = '''A wide view of a refrigerator beside a kitchen counter with a fruit bowl. A small sticky note on the refrigerator door is handwritten in Chinese:
"记得买牛奶和鸡蛋！
牛奶两盒，鸡蛋一打。
顺便带一袋面包。"'''

image = pipe(
    prompt,
    height=1024,
    width=1024,
    num_inference_steps=50,
    guidance_scale=3.0,
    uncond_skip_layers=[22],
    generator=torch.Generator("cpu").manual_seed(42),
).images[0]
image.save("refrigerator_note.png")

模型和自定义 pipeline 代码会自动下载并缓存。你也可以将一个完整的本地模型目录传入 from_pretrained。 transformer 和 text encoder 使用 bfloat16 精度；VAE 和初始噪声使用 float32 精度。内置的 VAE 采用 FLUX.2 小型解码器。

关于 Gradio 界面、CPU offload 及编译选项，请参考项目快速入门。 对于 ComfyUI，请在 ComfyUI Manager 中搜索 MOSS-Image 以安装原生插件。官方 ComfyUI 仓库的集成工作正在进行中。 详见安装与使用指南 及示例工作流。

采样设置

默认的 guidance 策略每步执行两次 transformer 前向传播。传入 uncond_skip_layers=[] 可禁用负分支跳跃，或设置 negative_prompt 以提供负向提示词。Python API 中图像尺寸必须 为 16 的正整数倍。

关于分辨率、采样、提示词及 LoRA 训练的推荐设置，请参阅 用户指南。

提示词增强技能

MOSS-Image 提示词增强器 可将 图像创意转化为详细的描述文本或空间 Layout 提示词。该技能专为 配备本地文件操作和 Python 工具的 GPT-6 系列智能体设计。内置脚本可将 像素坐标草稿转换为紧凑的 JSON 格式（整数居中坐标）； 它不会调用图像生成服务。

将技能文件夹安装到智能体的 skills 目录中，然后调用 $moss-image-prompt-enhancer 并传入你的图像创意、期望的 描述文本或 Layout 输出，以及任意画布尺寸。将生成的结果 粘贴到 MOSS-Image 的正向提示词中；若使用 Layout 模式，请保持相同的生成尺寸。

布局到图像生成

将 JSON 布局作为提示词传入，用于描述场景、渲染文本、对象及其位置。布局使用 summary.caption 和 items 字段，其中 bbox_format: "yxyx" 和 bbox_coord_space: "abs_centralized"。

在使用 Python API 时，通过 json.dumps(layout, ensure_ascii=False) 序列化布局，并将其传入 pipe。在 Gradio 中，将 JSON 粘贴到 Prompt 输入框中，并设置对应的图像尺寸。 请参阅布局格式与示例。

布局还支持受控编辑和友好的布局编辑工具。 通过编辑文本、元素描述和边界框，以结构化的方式调整图像内容与构图。

展示

引用

@misc{ai2026mossimagetechnicalreport,
      title={MOSS-Image Technical Report},
      author={MOSI. AI},
      year={2026},
      eprint={2610.23374},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2610.23374},
}

许可协议与致谢

模型权重及附带的推理代码以 Apache License, Version 2.0 协议发布。

感谢 Diffusers、Qwen 和 FLUX 团队。