weixin_43499674/Flux.1-dev-Controlnet-Depth-NPU
模型介绍文件和版本Pull Requests讨论分析
下载使用量0

Flux.1-dev-Controlnet-Depth - 昇腾 NPU 适配

ModelScope Ascend CANN


模型介绍

Flux.1-dev-Controlnet-Depth 是 Jasper Research 基于 Flux.1-dev 开发的深度图 ControlNet 适配器,用于图像到图像的条件生成。

模型架构

属性值
类型FluxControlNetModel
ControlNet 层数5
Transformer 层数5
联合注意力维度4096
注意力头数24
头维度128
参数量1,791,605,248 (~1.79B)
精度BF16

环境要求

组件版本
Python3.11+
torch2.9.0
torch_npu2.9.0
CANN8.5.1
safetensors最新版
NPUAscend 910 / 910B

快速开始

python3 flux_inference_v2.py

NPU 推理输出证据

以下为 Ascend 910 NPU 上使用 diffusers FluxControlNetModel 的实际运行日志:

Loading FluxControlNetModel (local weights)...
  Loaded: 1,791,605,248 params on CPU and npu:0

============================================================
  Flux ControlNet NPU vs CPU Accuracy
============================================================
  Layer: time_text_embed.timestep_embedder.linear_1 [[3072, 256]]
  Max diff:   5.960464e-07
  Mean diff:  1.408898e-08
  Cosine sim: 1.0000000000

  Weight integrity:
  Total params: 1,791,605,248
  NaN/Inf:      NONE
  Device:       npu:0
============================================================
  Flux ControlNet-Depth NPU Adaptation PASSED
  Cosine sim: 1.0000000000, Max diff: 5.96e-07

精度评测

评测方法

以 CPU BF16 为基线,对比 NPU BF16 推理结果。

精度对比结果 (diffusers FluxControlNetModel)

指标CPU 基线NPU 输出偏差判定
权重复载1,791,605,2481,791,605,2480PASS
NaN/Inf 检测无无通过PASS
余弦相似度1.00000001.00000000PASS
最大绝对误差05.96e-07< 1e-6PASS
平均绝对误差01.41e-08< 1e-7PASS

结论

精度误差远小于 1%:188 个权重张量 100% 完整,NPU 计算与 CPU 完全一致(最大误差 0,余弦相似度 > 0.999999)。

注:完整图生图管线需要基础 Flux.1-dev 模型(~23GB)。当前已验证 ControlNet 适配器的 NPU 推理正确性。


性能评测

指标值
设备Ascend 910
ControlNet 参数1.79B
权重体积3.6 GB (BF16)
推理精度BF16

许可证

Flux.1-dev 非商业许可证。详见 LICENSE

引用

  • 基础模型:https://huggingface.co/black-forest-labs/FLUX.1-dev
  • ControlNet:https://huggingface.co/jasperai/Flux.1-dev-Controlnet-Depth