Model Introduction / 模型简介
buildborderless/CommunityForensics-DeepfakeDet-ViT 是一个基于 Vision
Transformer(ViT-Small, patch 16, 384×384)的 AI 生成图像检测模型,
来自论文 Community Forensics: Using Thousands of Generators to Train Fake
Image Detectors(arXiv:2411.04125)。模型以约 270 万张图片、4800+ 生成器
训练,用于识别 AI 生成(伪造)图像。本交付将该模型适配到华为昇腾 Ascend NPU
上,以 torch_npu 引擎在 npu:3 上完成图像分类(deepfake 检测)推理。
输出约定(重要):上游权重中的分类头为 2 输出 (
classifier.weight形状[2, 384]),而config.json声明num_classes: 1。本适配以num_labels = 2加载,并同时输出原始 logits 与 softmax 概率。上游模型卡未说明两个类别的排列顺序,因此本适配不声称 已验证的real/fake标签映射,使用者应依据原始 logits/概率自行解释。
Environment Dependencies / 环境依赖清单
| 依赖 | 版本 | 说明 |
|---|---|---|
| 操作系统 | openEuler (aarch64) | 昇腾服务器 |
| CANN | cann-8.5.1 | /usr/local/Ascend/cann-8.5.1 |
| Python | 3.11.14 | 模型 venv |
| torch | 2.9.0 | 与 CANN 匹配,禁止用 PyPI 替换 |
| torch_npu | 2.9.0 | 昇腾 NPU 后端 |
| torchvision | 0.24.0 | |
| transformers | 5.15.1 | 模型加载 |
| timm | 1.0.28 | 上游参考实现依赖 |
| safetensors | 0.8.0 | 权重加载 |
| numpy | 1.26.4 | |
| pillow | 12.3.0 | 图像处理 |
| 硬件 | Ascend 910B4-1 ×8 | 目标卡 npu:3 |
完整锁定版本见 requirements.txt。
Inference Steps / 分步推理操作流程
# 0) 进入交付目录
cd /work/pipeline/jobs/cv9/communityforensics-deepfakedet-vit/communityforensics-deepfakedet-vit-npu
# 1) 加载 CANN 环境
source /usr/local/Ascend/ascend-toolkit/set_env.sh
# 2) 使用既有模型 venv(不安装/替换 torch、torch_npu)
PY=/work/pipeline/runtime/venvs-cv9/communityforensics-deepfakedet-vit/bin/python
# 3) 语法检查
$PY -m py_compile inference.py
# 4) 运行完整推理(固定 npu:3,无 CPU 回退)
$PY inference.py --image sample_input/test_input.png
# 结果写入 logs/npu_result.json,设备调用写入 logs/npu_device_call.log
# 5) 带并发 npu-smi 监控运行
# 在推理进程运行期间另开终端执行:npu-smi info >> logs/npu_smi_monitor.log脚本内部行为:
torch_npu 并调用 torch.npu.set_device("npu:3");torch.npu.is_available() 为 False 则直接报错退出,不存在 CPU 回退;--device 参数中除 npu:3 外的任何值;pixel_values、model、logits、probabilities 全部位于 npu:3。Complete Test Case / 完整测试用例
sample_input/test_input.png(384×384 RGB,确定性合成图)。source /usr/local/Ascend/ascend-toolkit/set_env.sh
/work/pipeline/runtime/venvs-cv9/communityforensics-deepfakedet-vit/bin/python \
inference.py --image sample_input/test_input.png0npu:3(Ascend910B4-1)torch_npunpu_available:truenpu:3[1, 2][-0.045379, -0.368577][0.580103, 0.419897]6.6253 snpu-smi info 在推理期间采样 16 次,捕获 python(PID 675513)
进程挂载于 NPU 3,设备内存 110 MB → 384 MB。Output Results / 输出结果
真实、未经修改的最终结果(logs/npu_result.json):
{
"model_id": "buildborderless/CommunityForensics-DeepfakeDet-ViT",
"source_revision": "a54ed6ccd21ebab0b1fde66524f89da2842f13fb",
"engine": "torch_npu",
"device": "npu:3",
"npu_device_name": "Ascend910B4-1",
"npu_available": true,
"exit_code": 0,
"elapsed_s": 6.6253,
"cann_version": "cann-8.5.1",
"input_device": "npu:3",
"model_device": "npu:3",
"output_device": "npu:3",
"logits_device": "npu:3",
"logits": [-0.045379, -0.368577],
"probabilities": [0.580103, 0.419897],
"output_shape": [1, 2],
"dtype": "fp32"
}输出说明(不声称未经证实的类别映射)
本模型分类头为 2 输出。上游模型卡未给出类别索引顺序,本适配不声称
已验证的 real/fake 映射,而是直接暴露原始 logits 与 softmax 概率。
若需二分类结论,请以你验证过的类别顺序解释:例如以 probability[1]
作为某类得分时,务必先通过已知真实标签确认索引 0/1 与 real/fake
的对应关系。
Artifacts / 交付物
inference.py — 推理脚本(torch_npu,要求 NPU,无 CPU 回退)requirements.txt — 锁定依赖readme.md / README.md — 本文档(字节一致)assets/agent_workflow.png、assets/npu_device_call.png、
assets/model_result.png — 由真实日志渲染logs/npu_result.json、logs/inference.log、logs/npu_device_call.log、
logs/npu_smi_monitor.log、logs/work_notes.md — 真实运行证据SHA256SUMS、.gitignore下图是本次适配与第二轮上游规范复核的 ModelAgent 流式会话只读回放,来源为公开交付中的脱敏会话日志;命令、问题定位、修复和验收结论均来自真实会话。



