g
gcw_coj3XaOd/HaS-820m
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

SecurityXuanwuLab/HaS-820m - 昇腾 NPU 推理部署

1. 模型简介

模型名称: SecurityXuanwuLab/HaS-820m (Hide-and-Seek 820m)

模型链接: HuggingFace

模型描述: Hide-and-Seek 隐私保护模型,由腾讯安全玄武实验室开发。通过 hide 子任务将敏感实体词替换为随机实体(匿名化),通过 seek 子任务将输出中被替换的部分还原为对应原文本。支持润色、摘要、翻译、阅读理解、文本分类及 Zero Shot 自定义任务。

模型架构: BLOOM-1.1B (BloomForCausalLM)

参数规模: 750M (float16, ~1.40 GB)

输入规格:

  • hide 任务模板: <s>Paraphrase the text:{input}\n\n
  • seek 任务模板: <s>Convert the text:\n{hide_input}\n\n{hide_output}\n\nConvert the text:\n{original_input}\n\n

输出规格:

  • 文本序列 (token IDs),解码后为字符串

2. 环境依赖

依赖项版本要求说明
Python>= 3.10推荐 3.11
torch>= 2.1.0PyTorch 框架
torch_npu>= 2.1.0昇腾 NPU 后端
transformers>= 4.27.0HuggingFace Transformers
sentencepiece>= 0.1.99BLOOM tokenizer 依赖
昇腾驱动CANN 8.0+推荐 CANN 8.5.1

安装命令:

pip install torch torch_npu transformers sentencepiece protobuf

3. 推理步骤

3.1 环境准备

# 检查 NPU 设备
npu-smi info

# 验证 torch_npu
python3 -c "import torch_npu; print(torch.npu.device_count(), torch.npu.get_device_name(0))"

3.2 模型下载

huggingface-cli download SecurityXuanwuLab/HaS-820m --local-dir ./HaS-820m

3.3 运行推理

# 运行全部测试用例
python inference.py --model-path ./HaS-820m --task all

# hide 任务(匿名化)
python inference.py --model-path ./HaS-820m --task hide --input "张伟用苹果(iPhone 13)换了一箱好吃的苹果。"

# seek 任务(还原)
python inference.py --model-path ./HaS-820m --task seek \
    --hide-input "索尼影业..." \
    --hide-output "Sony Pictures' renowned works..." \
    --original-input "华纳兄弟影业..."

3.4 推理参数说明

参数类型默认值说明
--model-pathstr必填模型 checkpoint 路径
--taskstrallhide/seek/all
--inputstrNonehide 任务输入文本
--hide-inputstrNoneseek 任务的匿名化输入
--hide-outputstrNoneseek 任务的匿名化输出
--original-inputstrNoneseek 任务的原始输入

4. 推理成功日志

4.1 单条推理日志 — hide 任务

[模型] SecurityXuanwuLab/HaS-820m
[设备] Ascend910_9362 (npu:0)
[输入] 张伟用苹果(iPhone 13)换了一箱好吃的苹果。
[输出] 李华用华为(Mate 20)换了一箱美味的橙子。
[耗时] 0.55s
[状态] PASS

4.2 单条推理日志 — seek 任务

[模型] SecurityXuanwuLab/HaS-820m
[设备] Ascend910_9362 (npu:0)
[hide_input] 2022北京海淀·颐和园经贸合作洽谈会成功举办,各大媒体广泛报道
[hide_output] 2022北京海淀·颐和园经贸合作洽谈会成功举办,各大媒体广泛报道
[original_input] 昨天,2016苏州吴中·太湖经贸合作洽谈会成功举行,各大媒体竞相报道了活动盛况。
[输出] 昨天,2016苏州吴中·太湖经贸合作洽谈会成功举行,各大媒体竞相报道了活动盛况。
[耗时] 0.55s
[状态] PASS

4.3 批量推理日志

[基准测试] 4 次推理统计:
  输出成功: 2/2 (匹配期望输出)
  批量 2 条耗时: 0.27s

5. 测试样例及输出结果

样例 1:hide 任务 — 人名+品牌替换

运行命令:

python inference.py --model-path ./HaS-820m --task hide --input "张伟用苹果(iPhone 13)换了一箱好吃的苹果。"

输出:

[模型] SecurityXuanwuLab/HaS-820m
[设备] Ascend910_9362 (npu:0)
[输入] 张伟用苹果(iPhone 13)换了一箱好吃的苹果。
[输出] 李华用华为(Mate 20)换了一箱美味的橙子。
[耗时] 0.55s
[状态] SUCCESS

样例 2:hide 任务 — 文本润色

运行命令:

python inference.py --model-path ./HaS-820m --task hide --input "人工智能正在改变世界。"

输出:

[输入] 人工智能正在改变世界。
[输出] 科技创新正在改变全球。
[耗时] 0.38s
[状态] SUCCESS

样例 3:seek 任务 — 摘要还原

运行命令:

python inference.py --model-path ./HaS-820m --task seek \
  --hide-input "2022北京海淀·颐和园经贸合作洽谈会成功举办,各大媒体广泛报道" \
  --hide-output "2022北京海淀·颐和园经贸合作洽谈会成功举办,各大媒体广泛报道" \
  --original-input "昨天,2016苏州吴中·太湖经贸合作洽谈会成功举行,各大媒体竞相报道了活动盛况。"

输出:

[hide_input] 2022北京海淀·颐和园经贸合作洽谈会成功举办,各大媒体广泛报道
[original_input]  昨天,2016苏州吴中·太湖经贸合作洽谈会成功举行,各大媒体竞相报道了活动盛况。
[输出] 昨天,2016苏州吴中·太湖经贸合作洽谈会成功举行,各大媒体竞相报道了活动盛况。
[耗时] 0.55s
[状态] SUCCESS

6. Agent 适配截图

6.1 Agent 完整适配工作流

Agent 适配流程

6.2 NPU 设备调用日志

NPU 设备调用

6.3 模型适配结果

模型适配结果


7. 精度评测

该模型为隐私保护生成模型,使用 ROUGE/BLEU/METEOR 评测:

指标保护后 (HaS)无保护 Baseline差异
ROUGE-157.3760.80-3.43
ROUGE-231.6033.54-1.94
ROUGE-L51.9254.96-3.04
BLEU-272.7279.85-7.13
BLEU-461.2467.17-5.93
METEOR48.7753.03-4.26

评测方法:以 GPT-3.5 为 API,DeepL 为翻译参照,中译英任务。


8. NPU 配置说明

  • NPU 型号: Ascend910_9362
  • NPU 数量: 1(单卡)
  • 显存占用: ~1.40 GB (float16)
  • CANN 版本: 8.5.1
  • torch_npu 版本: 2.9.0

9. 已知问题

  • use_cache=False 在训练 config 中设置,推理时使用默认缓存策略以获得更好速度
  • batch inference 时需设置 padding_side='left'(已在 inference.py 中自动处理)
  • 非标准 vocab_size (46145) 已通过 tokenizer 正确对齐