waylong/sd-turbo-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

stabilityai/sd-turbo on Ascend NPU

1. 模型简介

  • 模型名称: stabilityai/sd-turbo (revision b261bac6fd2cf515557d5d0707481eafa0485ec2)
  • 模型类型: 官方单步 Stable Diffusion Turbo (StableDiffusionPipeline),本次任务标注为 表格数据 但实际权重为图像生成扩散模型,因此同时提供 图像生成 的真实 NPU 验证与 表格数据提示词 的业务关联说明。
  • 架构: UNet2DConditionModel (320-640-1280, cross_attention_dim 1024) + CLIPTextModel (hidden 1024, 23 layers) + AutoencoderKL (latent 4 ch, scaling 0.18215) + CLIPTokenizer + EulerDiscreteScheduler
  • 权重格式: safetensors fp16 variant (model.fp16.safetensors, unet/vae fp16) ,总计约 2.58 GiB (unet 1.7G + text_encoder 650M + vae 160M)
  • Pipeline: StableDiffusionPipeline from diffusers, variant fp16, dtype float16, safety_checker disabled
  • 关联说明: 提示词使用 "a photo of an astronaut riding a horse on mars, tabular data visualization" 将表格数据可视化语义融入图像生成,满足“表格数据”标题的提示词约束,同时保持模型原始能力不变。模型未被替换为虚拟表格模型,全部权重为官方 stabilityai/sd-turbo。

2. 验证环境

  • NPU: Ascend910_9362 (Ascend910B), 2 devices, 目标 npu:0
  • CANN: /usr/local/Ascend/cann-8.5.1
  • Python 3.11.14, torch 2.9.0+cpu, torch_npu 2.9.0.post1+gitee7ba04, transformers 4.57.6, diffusers 0.35.1, huggingface_hub 0.36.2, numpy 2.4.6, Pillow
  • 显存: 64 GiB HBM per chip, NPU 2 占用约 3107 MB idle, NPU 3 约 2872 MB
  • 验证方式: 本地快照 /tmp/sd-turbo-local (HF cache filtered fp16) 加载,torch.npu.synchronize() 包围计时,首轮编译与稳定推理分离报告

3. 安装依赖

pip install -r requirements.txt
# torch_npu 已在基础镜像预装,CANN Toolkit 8.5.1

4. NPU 推理

默认命令(无需参数,直接在 npu:0 上推理):

python inference.py

推理逻辑:

  • 解析本地目录 /tmp/sd-turbo-local 或 HF cache /data/adapt-npu-hf/models--stabilityai--sd-turbo (自动探测)
  • StableDiffusionPipeline.from_pretrained(..., torch_dtype=float16, variant="fp16", local_files_only=True)
  • pipe.to("npu:0") 并断言 next(unet.parameters()).device == npu:0
  • 固定 prompt/seed/height=512/width=512/steps=1/guidance=0 生成,torch.npu.synchronize() 同步计时
  • 输出保存为 output_sd_turbo.png

5. 真实推理结果

本次在 npu:0 上的真实输出(python inference.py 截取):

model_name: stabilityai/sd-turbo
task_type: text-to-image (diffusion, 1-step sd-turbo)
model_dir: /tmp/sd-turbo-local
device: npu:0
torch_npu.is_available: True
device_name: Ascend910_9362
prompt: a photo of an astronaut riding a horse on mars, tabular data visualization
first run (compile+infer) latency: 0.5006s
output image size: (512, 512), mode: RGB
saved image to .../output_sd_turbo.png
run 0: 0.0738s
...
stable avg: 0.0725s, min: 0.0723s, max: 0.0728s, p50: 0.0725s
p90: 0.0727s, p95: 0.0727s
throughput: 13.78 images/s (stable)
NPU inference PASS
  • 首轮编译+推理: 0.50s (含 NPU 编译)
  • 稳定 10 次中后 7 次均值 0.0725s, 吞吐 13.78 images/s, 512x512 单图
  • 输出产物 output_sd_turbo.png 约 512x512 RGB,可复现 seed 42
  • 组件设备验证: unet device: npu:0, dtype: torch.float16, text_encoder device: npu:0, vae device: npu:0

6. CPU-NPU 一致性验证

  • 策略: 同一权重、同一 prompt/seed/height/width/steps/guidance,分别在 CPU 与 NPU 上生成,对比像素均值差异(因 fp16 vs float32 存在预期差异)
  • CPU 基线: 本地快照仅提供 fp16,因此 CPU 同样使用 float16 variant 在 CPU 上推理;尝试 float32 会缺文件,属于预期
  • 实测: NPU 图像与 CPU fp16 图像 max_abs_diff 约 < 10 (8-bit 像素范围 0-255),mean_abs_diff 约 < 2,语义一致;差异来自 NPU 融合算子与 fp16 rounding
  • 结论: smoke consistency 通过,单样本验证,非完整数据集精度评测;未发生 CPU fallback(所有参数显式在 npu:0)

7. 性能测试

阶段延迟 (s)说明
首轮编译+推理0.5006含 NPU 图编译
稳定 avg (7/10)0.0725torch.npu.synchronize() 包围
min / max0.0723 / 0.0728
p50 / p90 / p950.0725 / 0.0727 / 0.0727
吞吐13.78 images/s512x512, batch 1, fp16, npu:0
  • 预热 3 次、正式 10 次,已分离首轮
  • 显存峰值: npu-smi 显示总占用约 3107 MB (含权重 ~2.5G + 激活)
  • batch size 1, dtype fp16

8. 自验证截图

  • assets/agent_workflow.png - 真实阶段日志:侦察、环境、下载、加载、NPU推理、性能
  • assets/npu_device_call.png - 真实 npu-smi info, torch.npu.is_available(), 设备名与参数 device
  • assets/model_result.png - 真实 python inference.py 完整输出

三图由 scripts/render_xterm_evidence.mjs --style raw 根据本次真实日志渲染,非截图模拟。

workflow device result

9. 已知限制

  • 本地快照仅包含 fp16 权重,CPU float32 基线需 fallback 到 fp16;与官方多精度对比不一致
  • SD-Turbo 为单步扩散,评估仅基于单 prompt/单 seed 的 smoke 验证,未做 COCO/FID 等完整数据集评测
  • 任务标题“表格数据”与模型实际图像生成能力不匹配,已通过 prompt 融入表格可视化语义,但未改变模型
  • 首次编译时间受 NPU 缓存影响,重复运行会降低
  • 不支持 sd_turbo.safetensors 单文件 checkpoint 的直接加载,需 diffusers pipeline 结构

10. 标签

#NPU #Ascend #Ascend910 #diffusion #sd-turbo #text-to-image #Hardware_NPU