xiaolv/security_testing_model on Ascend NPU

1. 简介

本文档记录 xiaolv/security_testing_model 在华为昇腾 Ascend910 NPU 上的适配与验证结果。

xiaolv/security_testing_model 是一个基于 xlm-roberta-base 微调的 NSFW 文本分类模型（多标签分类，52 个标签维度），用于检测不适合在工作场合阅读的文本内容。

相关获取地址：

• 权重下载地址（ModelScope）：https://modelscope.cn/models/xiaolv/security_testing_model
• 基座模型：https://modelscope.cn/models/AI-ModelScope/xlm-roberta-base

2. 验证环境

• NPU：2 逻辑卡
• 模型路径：/opt/atomgit/xiaolv/security_testing_model/model/xiaolv/security_testing_model

3. 服务启动（直接推理）

由于该模型为自定义 PyTorch 多标签分类模型（非标准 LLM），使用自定义推理脚本进行推理：

python3 inference.py

推理脚本内容：

1. 定义 MultiLabelClassifier 模型结构（基于 XLM-RoBERTa）
2. 加载微调后的 .pth 权重文件
3. 使用 ModelScope 的 XLM-RoBERTa tokenizer 进行编码
4. 在 NPU 上进行推理，输出分类结果

4. Smoke 验证

import torch
from modelscope import AutoModel, AutoTokenizer

# 定义模型结构并加载权重（详见 inference.py）
# 在 NPU 上运行推理

验证结果：

• 模型成功加载到 NPU 设备
• 推理正常返回结果
• 分类结果符合预期

5. 性能参考

测试条件：单条文本推理，max_length=512，20 轮测试取平均。

6. 精度评测

测试条件：5 条安全文本测试用例，sigmoid 阈值 0.5。

7. 注意事项

• 模型权重为自定义 MultiLabelClassifier 结构，加载时需先定义模型再加载 .pth 权重
• 基座模型 AI-ModelScope/xlm-roberta-base 需提前下载
• 使用 torch.load 时需设置 weights_only=False 以兼容旧版 checkpoint 格式
• 阈值的设定会影响最终的分类灵敏度，建议根据实际场景调整