凤
weixin_44093752/CirDit-Ascend-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

Floki00/cirdit_multimodal_compile_3to5qubit_v1.1 Ascend NPU 适配

本仓对应官方 Hugging Face 模型 Floki00/cirdit_multimodal_compile_3to5qubit_v1.1。官方页面于 2026-08-22 核实为约 766 MB,主权重 model.safetensors 为 765,519,544 字节,使用 genQC==0.2.5 的多模态量子线路扩散流水线。

适配内容

  • 保留官方 MultimodalDiffusionPipeline_ParametrizedCompilation.from_config_file 配置加载和 safetensors 权重。
  • inference.py 支持 cpu、npu 和 auto;显式指定 NPU 不可用时直接失败。
  • 固定随机种子,使用 5 qubits、32 gates、1 个 diffusion step 做端到端 NPU 冒烟,验证主模型、OpenCLIP 文本编码器、量子 embedder、scheduler 和 denoising 主链路。
  • 官方 generate_compilation_tensors 包装器在当前 genQC==0.2.5 环境把 denoising 返回值按 tuple 索引,导致后处理兼容错误;本适配直接调用官方 denoising,不修改模型权重或 NPU 算子。
  • 文本编码器依赖官方配置指定的 laion/CLIP-ViT-B-32-DataComp.XL-s13B-b90k,首次运行需要联网下载该外部依赖。

真实 Ascend910 验证

指标Ascend910 npu:0
模型加载7.4436 s
单步 denoising0.5904 s
输入 shape[1,5,32,16]
输出 shape[1,5,32,16]
输出 dtypefloat32
有限值true

设备日志确认主权重、OpenCLIP 和 embedder 均加载到 npu:0,随后完成 denoising 并返回 Tensor。主模型参数量为 186,142,984,输出有限值为 true。该记录是 NPU 可运行性冒烟,不是完整 diffusion 采样或数值精度结论;本任务按赛事时间窗口只要求真实 NPU 跑通。

证据

Model Agent CPU/NPU 推理工作流

Model Agent CPU/NPU 推理工作流

Ascend NPU 设备调用

Ascend NPU 设备调用

CPU/NPU 精度验证结果

CPU/NPU 精度验证结果

运行

模型目录需包含 config.yaml、config.json、model.safetensors、beta_schedule_learned_linear.safetensors 和 embedder.safetensors。在已加载 CANN 环境的 Ascend 容器内执行:

python inference.py --model-path /tmp/model-agent/floki96 --device npu --steps 1

依赖见 requirements.txt。原始模型:Floki00/cirdit_multimodal_compile_3to5qubit_v1.1。