bert-tiny-privacy

该模型是 [prajjwal1/bert-tiny] 在 beki/privy 数据集上的微调版本。 它在评估集上取得了以下结果：

• 损失：0.0235

模型描述

此模型可用于检测 JSON、SQL、HTML 和 XML 中的个人信息痕迹，并可用作对此类信息进行脱敏处理的模型。

预期用途与限制

需要更多信息

训练和评估数据

需要更多信息

训练过程

训练超参数

训练过程中使用了以下超参数：

• 学习率：4e-05
• 训练批次大小：32
• 评估批次大小：128
• 种子：13434865
• 优化器：Adam，参数 betas=(0.9,0.999)，epsilon=1e-08
• 学习率调度器类型：余弦
• 学习率调度器预热比例：0.01
• 训练步数：15000

训练结果

框架版本

• Transformers 4.36.2
• Pytorch 2.1.0+cu121
• Datasets 2.16.0
• Tokenizers 0.15.0