OrderAndChaos/controlnet-inpaint-endpoint 昇腾 NPU 适配
- 官方模型池：Phase 4 / Row 103
- 参赛微信名称：风云游子
- 参赛 AtomGit ID：@gcw_StsIRaj1
- 模型来源：https://huggingface.co/OrderAndChaos/controlnet-inpaint-endpoint
- 官方可达镜像：https://ai.gitcode.com/hf_mirrors/OrderAndChaos/controlnet-inpaint-endpoint
- 上游许可证：
CreativeML OpenRAIL-M (official model card) - 推理引擎：
Diffusers ControlNetModel + safetensors + torch_npu - 验证硬件：Ascend910 / CANN /
torch_npu/npu:0
作品结论
本作品在大赛官方远端 Ascend Model Agent 的 Ascend910 上加载真实 checkpoint，并完成 controlnet_inpaint_conditioning。CPU fallback 被禁止；模型、输入与输出设备信息、权重加载审计、输出统计、软件版本和耗时均固化在 evidence/result.json。
锁定 OrderAndChaos 官方提交 f687f36d 的 722,598,642 字节 FP16 safetensors 与官方 LFS SHA-256；361,279,120 参数严格零缺失加载，完整 ControlNetModel 前向的全部参数、4 组输入以及 13 个 down/mid 条件残差输出均在 npu:0，输出有限。
适配边界
- 保留上游模型结构、参数与任务语义，只增加 NPU 设备迁移、必要的版本兼容和证据采集。
- 使用确定性合成输入执行最小可复现实验，避免外部数据集和网络波动影响复核。
- 加载失败、张量落回 CPU、输出非有限或形状不符时立即失败，不以随机初始化或 CPU 结果替代。
- 本作品验证官方权重的昇腾 NPU 前向推理链路可执行，不声称完成训练，也不把烟测统计解释为业务精度。
应用价值与决策边界
- 目标场景：Stable Diffusion 图像修复管线的条件控制模块迁移、国产算力兼容验证与算子基准
- 输入语义：16×16 四通道扩散 latent、时间步、4×768 文本条件与 128×128 三通道 inpaint 条件图
- 输出语义：12 个 down-block 与 1 个 mid-block 条件残差张量
- 决策支持：验证官方 inpaint ControlNet 条件网络可在昇腾 NPU 为下游扩散 UNet 提供完整的多尺度残差控制信号
- 证据边界：当前证明官方 ControlNetModel 组件的严格权重加载和完整 Ascend NPU 前向；该模型本身是 Stable Diffusion 的控制组件，未声称已执行基础模型、VAE、文本编码器或端到端生成质量评测。
运行步骤
远端环境应预先安装版本匹配的 CANN、PyTorch 与 torch_npu，不要用普通 pip install 覆盖官方运行时。
python3 -m pip install -r requirements.txt
python3 inference.py --model-dir /tmp/atomgit/prep_phase4/row-controlnet-inpaint-endpoint --config config.json --out outputs/result.json
npu-smi info
cat outputs/result.json实测证据
- 模型状态设备：
npu:0 - 输入语义：
16×16 四通道扩散 latent、时间步、4×768 文本条件与 128×128 三通道 inpaint 条件图 - 输出形状：
None - 推理耗时：
202.427 ms - 权重加载：官方 from_pretrained 权重加载
- 设备闭环：模型、输入、输出张量均为 npu:0
- checkpoint SHA-256：
bd6fa262ac0820cb24572a5f133249f867a5264307d693ecff23b1eaa4cccf7e
evidence/result.json 是机器可读事实源；三张证据图分别呈现 Agent 适配流程、NPU 设备闭环和模型输出结果。
复核清单
- 真实 checkpoint，非随机初始化
- 禁止 CPU fallback
- 模型状态位于
npu:0 - 输入与输出设备逐字段记录
- 输出形状和有限性门禁
- 运行时版本与耗时固化
- 模型许可证和适配边界明确
Agent适配截图
Agent适配全过程截图
NPU设备调用截图
模型适配结果截图
