Hide-and-Seek(HaS)隐私保护模型在单卡昇腾 Ascend 910B(npu:0)上的真实推理适配。
模型为基于 bigscience/bloom-1b1 的词表裁剪与微调得到的中文版隐私保护模型,
提供 hide(敏感实体匿名化)与 seek(信息还原)两个子任务。
| 属性 | 值 |
|---|---|
| 模型 ID | SecurityXuanwuLab/HaS-820m |
| 架构 | BloomForCausalLM(bloom,hidden 1536 / 24 层 / 16 头 / vocab 46145) |
| 参数量 | 750,841,344(750.8M) |
| 权重格式 | pytorch_model.bin(1.50 GB,float16) |
| 任务 | 隐私保护双子任务:hide(实体匿名化)+ seek(信息还原) |
| 官方模板 | hide:<s>Paraphrase the text:%s\n\n;seek:<s>Convert the text:\n%s\n\n%s\n\nConvert the text:\n%s\n\n |
| 官方依赖 | transformers + torch(官方 colab 为 torch==2.1.0+cu118) |
| 项目 | 实际值 |
|---|---|
| NPU | 2× Ascend910(Ascend910_9362),HBM 64 GB/卡,本任务使用 npu:0 |
| Driver/CANN | npu-smi 25.5.5 / CANN 8.5.1 |
| torch | 2.9.0 |
| torch_npu | 2.9.0.post1+gitee7ba04 |
| transformers | 4.57.6 |
| dtype | float16(NPU)、float32(CPU 一致性基线) |
| 峰值 NPU 显存 | 1433.6 MB(权重 + 激活 + beam 3) |
pip install torch transformers
pip install torch_npu # 匹配本地 CANN 版本模型权重下载完成后,直接运行默认命令即可在 npu:0 完成 hide + seek 真实推理与验证:
python inference.py支持 --mode run|validate|benchmark 与 --model-path <本地模型目录>;
不传 --model-path 时会从本地 HF 缓存目录加载,未命中则通过 HF 镜像自动下载。
hide(敏感实体匿名化)——输入 张伟用苹果(iPhone 13)换了一箱好吃的苹果。:
[RESULT] hide output (NPU) : 李华用华为(Mate 20)换了一箱美味的橙子。
[CHECK] hide matches official ref : True # 与官方模型卡完全一致
[CHECK] hide anonymized (no sensitive): True # 张伟/苹果/iPhone 已被替换,匿名化成功seek(信息还原)——输入 2022 海淀经洽会报道的 hide 样本 + hide_output + 2016 苏州原文:
[RESULT] seek output (NPU) : 2016苏州吴中·太湖经贸合作洽谈会成功举办,各大媒体广泛报道
[CHECK] seek matches official ref : True # 与官方模型卡完全一致同一输入在 CPU(float32)与 NPU(float16)上使用相同 beam-search 配置(beams=3,do_sample=False):
| 任务 | CPU 输出 | NPU 输出 | 一致性 |
|---|---|---|---|
| hide | 李华用华为(Mate 20)换了一箱美味的橙子。 | 李华用华为(Mate 20)换了一箱美味的橙子。 | 完全一致 |
| seek | 2016苏州吴中·太湖经贸合作洽谈会成功举办,各大媒体广泛报道 | 2016苏州吴中·太湖经贸合作洽谈会成功举办,各大媒体广泛报道 | 完全一致 |
说明:本次为官方固定样例的确定性验收(smoke-level 固定样例一致性), 不是完整双语语料库级别的精度评测;官方论文的 ROUGE/BLEU 指标在 README 与论文给出,本仓不做重复评测。
已预热 3 次后正式计时,torch.npu.synchronize() 前后对齐:
| 指标 | 值 |
|---|---|
| hide 平均延迟 | 320.4 ms(min 314.6 / max 324.5 / p50 322.4 / p90 324.1 / p95 324.3,10 次) |
| hide 吞吐 | 53.1 tokens/s(17 个新 token,beam 3,fp16) |
| seek 平均延迟 | 401.4 ms(3 次,20 个新 token,输入 339 token) |
| 峰值 NPU 显存 | 1433.6 MB |
assets/agent_workflow.png:环境检查、模型侦察、NPU 推理完整工作流日志assets/npu_device_call.png:npu-smi info、torch.npu.is_available()、设备名与设备日志assets/model_result.png:默认 python inference.py 的真实输出与 PASS/FAILnum_beams=3),hide 任务沿用官方 repetition_penalty=5.0;
不同解码参数会改变生成文本。seek 的完整还原需要 hide_output(通常来自外部翻译服务),本仓使用官方模型卡提供的示例三元组进行独立验证。Hardware: NPU, NPU, Ascend, Ascend910, text-generation, privacy, BLOOM, Hide-and-Seek, NLP