Bert-base-chinese

目录

• 模型详情
• 用途
• 风险、局限性与偏见
• 训练
• 评估
• 如何开始使用模型

模型详情

模型描述

该模型已针对中文进行预训练，训练过程中对词片段独立应用了随机输入掩码（与原始 BERT 论文中的做法一致）。

• 开发团队： HuggingFace 团队
• 模型类型： 掩码填充（Fill-Mask）
• 语言： 中文
• 许可证： [需更多信息]
• 父模型： 有关 BERT base 模型的更多信息，请参见 [BERT base uncased model]。

模型来源

• 论文： BERT

用途

直接用途

该模型可用于掩码语言建模。

风险、局限性与偏见

内容警告：读者需注意，本节包含可能令人不安、冒犯性的内容，并可能传播历史及当前的刻板印象。

已有大量研究探讨了语言模型中的偏见与公平性问题（例如，参见 Sheng et al. (2021) 和 Bender et al. (2021)）。

训练

训练流程

• type_vocab_size： 2
• vocab_size： 21128
• num_hidden_layers： 12

训练数据

[需更多信息]

评估

结果

[需更多信息]

如何开始使用模型

from transformers import AutoTokenizer, AutoModelForMaskedLM
import torch
import torch_npu

device=torch.device('npu:0')
tokenizer = AutoTokenizer.from_pretrained("bert-base-chinese")
model = AutoModelForMaskedLM.from_pretrained("bert-base-chinese")to(device)