jsjs1258/SecurityXuanwuLab-HaS-820m-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

SecurityXuanwuLab/HaS-820m on Ascend NPU

Hide-and-Seek(HaS)隐私保护模型在单卡昇腾 Ascend 910B(npu:0)上的真实推理适配。 模型为基于 bigscience/bloom-1b1 的词表裁剪与微调得到的中文版隐私保护模型, 提供 hide(敏感实体匿名化)与 seek(信息还原)两个子任务。

1. 模型简介

属性值
模型 IDSecurityXuanwuLab/HaS-820m
架构BloomForCausalLM(bloom,hidden 1536 / 24 层 / 16 头 / vocab 46145)
参数量750,841,344(750.8M)
权重格式pytorch_model.bin(1.50 GB,float16)
任务隐私保护双子任务:hide(实体匿名化)+ seek(信息还原)
官方模板hide:<s>Paraphrase the text:%s\n\n;seek:<s>Convert the text:\n%s\n\n%s\n\nConvert the text:\n%s\n\n
官方依赖transformers + torch(官方 colab 为 torch==2.1.0+cu118)

2. 验证环境

项目实际值
NPU2× Ascend910(Ascend910_9362),HBM 64 GB/卡,本任务使用 npu:0
Driver/CANNnpu-smi 25.5.5 / CANN 8.5.1
torch2.9.0
torch_npu2.9.0.post1+gitee7ba04
transformers4.57.6
dtypefloat16(NPU)、float32(CPU 一致性基线)
峰值 NPU 显存1433.6 MB(权重 + 激活 + beam 3)

3. 安装依赖

pip install torch transformers
pip install torch_npu   # 匹配本地 CANN 版本

4. NPU 推理

模型权重下载完成后,直接运行默认命令即可在 npu:0 完成 hide + seek 真实推理与验证:

python inference.py

支持 --mode run|validate|benchmark 与 --model-path <本地模型目录>; 不传 --model-path 时会从本地 HF 缓存目录加载,未命中则通过 HF 镜像自动下载。

5. 真实推理结果

hide(敏感实体匿名化)——输入 张伟用苹果(iPhone 13)换了一箱好吃的苹果。:

[RESULT] hide output (NPU) : 李华用华为(Mate 20)换了一箱美味的橙子。
[CHECK]  hide matches official ref : True      # 与官方模型卡完全一致
[CHECK]  hide anonymized (no sensitive): True  # 张伟/苹果/iPhone 已被替换,匿名化成功

seek(信息还原)——输入 2022 海淀经洽会报道的 hide 样本 + hide_output + 2016 苏州原文:

[RESULT] seek output (NPU) : 2016苏州吴中·太湖经贸合作洽谈会成功举办,各大媒体广泛报道
[CHECK]  seek matches official ref : True      # 与官方模型卡完全一致

6. CPU-NPU 一致性验证

同一输入在 CPU(float32)与 NPU(float16)上使用相同 beam-search 配置(beams=3,do_sample=False):

任务CPU 输出NPU 输出一致性
hide李华用华为(Mate 20)换了一箱美味的橙子。李华用华为(Mate 20)换了一箱美味的橙子。完全一致
seek2016苏州吴中·太湖经贸合作洽谈会成功举办,各大媒体广泛报道2016苏州吴中·太湖经贸合作洽谈会成功举办,各大媒体广泛报道完全一致

说明:本次为官方固定样例的确定性验收(smoke-level 固定样例一致性), 不是完整双语语料库级别的精度评测;官方论文的 ROUGE/BLEU 指标在 README 与论文给出,本仓不做重复评测。

7. 性能测试

已预热 3 次后正式计时,torch.npu.synchronize() 前后对齐:

指标值
hide 平均延迟320.4 ms(min 314.6 / max 324.5 / p50 322.4 / p90 324.1 / p95 324.3,10 次)
hide 吞吐53.1 tokens/s(17 个新 token,beam 3,fp16)
seek 平均延迟401.4 ms(3 次,20 个新 token,输入 339 token)
峰值 NPU 显存1433.6 MB

8. 自验证截图

  • assets/agent_workflow.png:环境检查、模型侦察、NPU 推理完整工作流日志
  • assets/npu_device_call.png:npu-smi info、torch.npu.is_available()、设备名与设备日志
  • assets/model_result.png:默认 python inference.py 的真实输出与 PASS/FAIL

9. 已知限制

  • 按官方示例使用确定性的 beam search(num_beams=3),hide 任务沿用官方 repetition_penalty=5.0; 不同解码参数会改变生成文本。
  • 仅验证了中文 hide/seek 官方样例;完整 hide→GPT 翻译→seek 流水线依赖外部 GPT-3.5 API,本仓不包含该外部调用。
  • seek 的完整还原需要 hide_output(通常来自外部翻译服务),本仓使用官方模型卡提供的示例三元组进行独立验证。

10. 标签

Hardware: NPU, NPU, Ascend, Ascend910, text-generation, privacy, BLOOM, Hide-and-Seek, NLP