atlasleong/communityforensics-deepfakedet-vit-npu
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

CommunityForensics-DeepfakeDet-ViT — Ascend NPU 推理适配

Model Introduction / 模型简介

buildborderless/CommunityForensics-DeepfakeDet-ViT 是一个基于 Vision Transformer(ViT-Small, patch 16, 384×384)的 AI 生成图像检测模型, 来自论文 Community Forensics: Using Thousands of Generators to Train Fake Image Detectors(arXiv:2411.04125)。模型以约 270 万张图片、4800+ 生成器 训练,用于识别 AI 生成(伪造)图像。本交付将该模型适配到华为昇腾 Ascend NPU 上,以 torch_npu 引擎在 npu:3 上完成图像分类(deepfake 检测)推理。

输出约定(重要):上游权重中的分类头为 2 输出 (classifier.weight 形状 [2, 384]),而 config.json 声明 num_classes: 1。本适配以 num_labels = 2 加载,并同时输出原始 logits 与 softmax 概率。上游模型卡未说明两个类别的排列顺序,因此本适配不声称 已验证的 real/fake 标签映射,使用者应依据原始 logits/概率自行解释。

Environment Dependencies / 环境依赖清单

依赖版本说明
操作系统openEuler (aarch64)昇腾服务器
CANNcann-8.5.1/usr/local/Ascend/cann-8.5.1
Python3.11.14模型 venv
torch2.9.0与 CANN 匹配,禁止用 PyPI 替换
torch_npu2.9.0昇腾 NPU 后端
torchvision0.24.0
transformers5.15.1模型加载
timm1.0.28上游参考实现依赖
safetensors0.8.0权重加载
numpy1.26.4
pillow12.3.0图像处理
硬件Ascend 910B4-1 ×8目标卡 npu:3

完整锁定版本见 requirements.txt。

Inference Steps / 分步推理操作流程

# 0) 进入交付目录
cd /work/pipeline/jobs/cv9/communityforensics-deepfakedet-vit/communityforensics-deepfakedet-vit-npu

# 1) 加载 CANN 环境
source /usr/local/Ascend/ascend-toolkit/set_env.sh

# 2) 使用既有模型 venv(不安装/替换 torch、torch_npu)
PY=/work/pipeline/runtime/venvs-cv9/communityforensics-deepfakedet-vit/bin/python

# 3) 语法检查
$PY -m py_compile inference.py

# 4) 运行完整推理(固定 npu:3,无 CPU 回退)
$PY inference.py --image sample_input/test_input.png
# 结果写入 logs/npu_result.json,设备调用写入 logs/npu_device_call.log

# 5) 带并发 npu-smi 监控运行
#    在推理进程运行期间另开终端执行:npu-smi info >> logs/npu_smi_monitor.log

脚本内部行为:

  • 导入 torch_npu 并调用 torch.npu.set_device("npu:3");
  • 若 torch.npu.is_available() 为 False 则直接报错退出,不存在 CPU 回退;
  • 拒绝 --device 参数中除 npu:3 外的任何值;
  • 断言 pixel_values、model、logits、probabilities 全部位于 npu:3。

Complete Test Case / 完整测试用例

  • 输入图像:sample_input/test_input.png(384×384 RGB,确定性合成图)。
  • 运行命令:
source /usr/local/Ascend/ascend-toolkit/set_env.sh
/work/pipeline/runtime/venvs-cv9/communityforensics-deepfakedet-vit/bin/python \
  inference.py --image sample_input/test_input.png
  • 退出码:0
  • 设备:npu:3(Ascend910B4-1)
  • 引擎:torch_npu
  • npu_available:true
  • 输入/模型/输出/logits 设备:全部 npu:3
  • 输出形状:[1, 2]
  • 原始 logits:[-0.045379, -0.368577]
  • softmax 概率:[0.580103, 0.419897]
  • 耗时:6.6253 s
  • 监控:npu-smi info 在推理期间采样 16 次,捕获 python(PID 675513) 进程挂载于 NPU 3,设备内存 110 MB → 384 MB。

Output Results / 输出结果

真实、未经修改的最终结果(logs/npu_result.json):

{
  "model_id": "buildborderless/CommunityForensics-DeepfakeDet-ViT",
  "source_revision": "a54ed6ccd21ebab0b1fde66524f89da2842f13fb",
  "engine": "torch_npu",
  "device": "npu:3",
  "npu_device_name": "Ascend910B4-1",
  "npu_available": true,
  "exit_code": 0,
  "elapsed_s": 6.6253,
  "cann_version": "cann-8.5.1",
  "input_device": "npu:3",
  "model_device": "npu:3",
  "output_device": "npu:3",
  "logits_device": "npu:3",
  "logits": [-0.045379, -0.368577],
  "probabilities": [0.580103, 0.419897],
  "output_shape": [1, 2],
  "dtype": "fp32"
}

输出说明(不声称未经证实的类别映射)

本模型分类头为 2 输出。上游模型卡未给出类别索引顺序,本适配不声称 已验证的 real/fake 映射,而是直接暴露原始 logits 与 softmax 概率。 若需二分类结论,请以你验证过的类别顺序解释:例如以 probability[1] 作为某类得分时,务必先通过已知真实标签确认索引 0/1 与 real/fake 的对应关系。

Artifacts / 交付物

  • inference.py — 推理脚本(torch_npu,要求 NPU,无 CPU 回退)
  • requirements.txt — 锁定依赖
  • readme.md / README.md — 本文档(字节一致)
  • assets/agent_workflow.png、assets/npu_device_call.png、 assets/model_result.png — 由真实日志渲染
  • logs/npu_result.json、logs/inference.log、logs/npu_device_call.log、 logs/npu_smi_monitor.log、logs/work_notes.md — 真实运行证据
  • SHA256SUMS、.gitignore

ModelAgent 现场会话界面

下图是本次适配与第二轮上游规范复核的 ModelAgent 流式会话只读回放,来源为公开交付中的脱敏会话日志;命令、问题定位、修复和验收结论均来自真实会话。

ModelAgent 现场会话界面

昇腾 NPU 适配证据截图

Agent 完整适配工作流

Agent 完整适配工作流

NPU 硬件设备调用日志

NPU 硬件设备调用日志

模型最终适配验收结果

模型最终适配验收结果