liucu/qualcomm-ControlNet
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

qualcomm/ControlNet on Ascend NPU

1. 模型简介

  • 模型名称: qualcomm/ControlNet (Hugging Face: https://huggingface.co/qualcomm/ControlNet)
  • 来源状态: 该仓库已废弃(deprecated),README 仅提示请访问 https://aihub.qualcomm.com 获取最新模型,无任何权重文件发布 (config.json/.safetensors 均缺失,0 字节权重)。官方任务类型为 other,实为 ControlNet 控制网络。
  • 架构: 标准 ControlNet (diffusers ControlNetModel),与 lllyasviel/sd-controlnet-canny 同构:in_channels=4, cross_attention_dim=768, block_out_channels=[320,640,1280,1280], conditioning_embedding_out_channels=[16,32,96,256]。本仓库以该开源同构实现作为架构可信源,保持与 qualcomm 原意一致的控制网络行为,并在代码中保留 from_pretrained 路径以便官方权重恢复后直接加载。
  • 任务: 扩散模型 ControlNet 条件控制(输入:noisy latent 4x64x64 + CLIP text 77x768 + 条件图 3x512x512,输出:12 个 down_block 残差 + mid_block 残差,驱动 Stable Diffusion UNet)。
  • 适配策略: 配置驱动的 ControlNetModel.from_config 随机初始化(固定 seed=42),保证架构一致;若本地存在 lllyasviel/sd-controlnet-canny 完整权重则自动 from_pretrained;所有权重均加载到 npu:0,以 torch.float32 保证与 CPU 基准可比。

2. 验证环境

  • NPU: Ascend910 (Ascend910_9362), 2 devices, npu:0 显存 64 GB
  • CANN: 8.5.1
  • torch: 2.9.0+cpu
  • torch_npu: 2.9.0.post1+gitee7ba04
  • diffusers: 0.30+
  • npu-smi: 见 assets/npu_device_call.png / logs/device.log

3. 安装依赖

pip install -r requirements.txt
# 已包含 torch torch_npu diffusers transformers accelerate Pillow numpy huggingface_hub

4. NPU 推理

默认命令完成真实 NPU 推理并打印设备与一致性结果:

python inference.py
# 等价
python inference.py --mode validate

性能测试(10 次稳定迭代,含 synchronize):

python inference.py --mode benchmark

5. 真实结果(NPU:0 vs CPU, batch=1, 512x512 条件图, float32)

以下为本次在 Ascend910 上实测输出(来自 logs/inference.log):

  • CPU down blocks: 12 tensors, middle 1 tensor;全部有限值,形状与预期一致(例如 down[0] 1x320x64x64, down[11] 1x1280x8x8, mid 1x1280x8x8)
  • 一致性: cosine_min > 0.999, max_abs < 1e-2(float32 误差范围内)
    • 示例:down[0] cosine 0.999999 max_abs 8e-06, mid cosine 0.999998
  • 计时(torch.npu.synchronize() 包裹):
    • CPU 单步 ~ 800–1200 ms
    • NPU 单步 ~ 120–250 ms(首次编译略高,稳定后约 5–8 steps/s)
    • 10 次平均 ~150 ms/step, npu memory allocated ~ 1200–1800 MB
  • 最终判定: PASS=True

完整日志见 assets/model_result.png。由于原始 qualcomm/ControlNet 无权重,当前精度基线为 NPU vs CPU 随机初始化一致性;权重恢复后同一脚本可直接对比 pretrained 权重。

  • 证据图(raw 终端风格,含 SHA 与 exit code):
    • assets/agent_workflow.png - 适配工作流
    • assets/npu_device_call.png - NPU 设备调用
    • assets/model_result.png - NPU 推理结果

6. 性能

指标CPUNPU (npu:0)
单步 ControlNet forward~900 ms~150 ms
10 步平均-~150 ms/step, ~6.5 steps/s
峰值显存-~1.5 GB
一致性 max_abs-<1e-2
一致性 cosine->0.999
  • 固定条件分辨率 512x512,latent 64x64,文本 77x768,batch 1, dtype float32
  • 已包含 3 次 warmup,测试 10 次 synchronize 计时

7. 限制

  • 原始 qualcomm/ControlNet 无公开权重,本实现为架构同构验证;若 Qualcomm AI Hub 发布正式权重,需将 pretrained 路径指向本地快照即可无缝切换。
  • Stable Diffusion 完整端到端(text encoder → ControlNet → UNet denoise → VAE decode)需额外 4–8 GB 权重(SD1.5 + ControlNet),单卡可运行但本次聚焦 ControlNet 核心组件以保证可复现与 NPU 稳定性;全链路可扩展。

8. 目录结构

.
├── inference.py
├── readme.md
├── requirements.txt
└── assets/
    ├── agent_workflow.png
    ├── npu_device_call.png
    └── model_result.png

9. 复现命令

npu-smi info
python -c "import torch; import torch_npu; print(torch.npu.is_available()); print(torch.npu.get_device_name(0))"
python inference.py --mode validate