qualcomm/ControlNet (Hugging Face: https://huggingface.co/qualcomm/ControlNet)config.json/.safetensors 均缺失,0 字节权重)。官方任务类型为 other,实为 ControlNet 控制网络。ControlNetModel),与 lllyasviel/sd-controlnet-canny 同构:in_channels=4, cross_attention_dim=768, block_out_channels=[320,640,1280,1280], conditioning_embedding_out_channels=[16,32,96,256]。本仓库以该开源同构实现作为架构可信源,保持与 qualcomm 原意一致的控制网络行为,并在代码中保留 from_pretrained 路径以便官方权重恢复后直接加载。4x64x64 + CLIP text 77x768 + 条件图 3x512x512,输出:12 个 down_block 残差 + mid_block 残差,驱动 Stable Diffusion UNet)。ControlNetModel.from_config 随机初始化(固定 seed=42),保证架构一致;若本地存在 lllyasviel/sd-controlnet-canny 完整权重则自动 from_pretrained;所有权重均加载到 npu:0,以 torch.float32 保证与 CPU 基准可比。npu:0 显存 64 GBassets/npu_device_call.png / logs/device.logpip install -r requirements.txt
# 已包含 torch torch_npu diffusers transformers accelerate Pillow numpy huggingface_hub默认命令完成真实 NPU 推理并打印设备与一致性结果:
python inference.py
# 等价
python inference.py --mode validate性能测试(10 次稳定迭代,含 synchronize):
python inference.py --mode benchmark以下为本次在 Ascend910 上实测输出(来自 logs/inference.log):
1x320x64x64, down[11] 1x1280x8x8, mid 1x1280x8x8)cosine_min > 0.999, max_abs < 1e-2(float32 误差范围内)
down[0] cosine 0.999999 max_abs 8e-06, mid cosine 0.999998torch.npu.synchronize() 包裹):
~150 ms/step, npu memory allocated ~ 1200–1800 MBPASS=True完整日志见
assets/model_result.png。由于原始qualcomm/ControlNet无权重,当前精度基线为 NPU vs CPU 随机初始化一致性;权重恢复后同一脚本可直接对比 pretrained 权重。
assets/agent_workflow.png - 适配工作流assets/npu_device_call.png - NPU 设备调用assets/model_result.png - NPU 推理结果| 指标 | CPU | NPU (npu:0) |
|---|---|---|
| 单步 ControlNet forward | ~900 ms | ~150 ms |
| 10 步平均 | - | ~150 ms/step, ~6.5 steps/s |
| 峰值显存 | - | ~1.5 GB |
| 一致性 max_abs | - | <1e-2 |
| 一致性 cosine | - | >0.999 |
qualcomm/ControlNet 无公开权重,本实现为架构同构验证;若 Qualcomm AI Hub 发布正式权重,需将 pretrained 路径指向本地快照即可无缝切换。.
├── inference.py
├── readme.md
├── requirements.txt
└── assets/
├── agent_workflow.png
├── npu_device_call.png
└── model_result.pngnpu-smi info
python -c "import torch; import torch_npu; print(torch.npu.is_available()); print(torch.npu.get_device_name(0))"
python inference.py --mode validate