HuggingFace镜像/LIDstral-Arabic
模型介绍
文件和版本
分析

LIDstral Arabic

LIDstral Arabic 是一款面向阿拉伯文字文本的快速语言与方言分类器。它能够识别现代标准阿拉伯语、所有阿拉伯语方言,以及同样使用阿拉伯文字的非阿拉伯语语言。

我们在训练数据中纳入了这些非阿拉伯语语言,以帮助模型区分共享同一文字系统的语言,避免仅凭文字形式就将文本归类为阿拉伯语。

方法

该模型将 fastText 一对多(OVA)分类器、MLP 堆叠器以及逐类别保序校准相结合:

  1. fastText OVA:为每个类别生成独立评分,保留相互竞争的语言和方言的证据信息。
  2. MLP 堆叠器:一个 64 单元的 LayerNorm MLP 将这些评分映射为各类别的概率。它使用 144 个特征,派生自原始评分、先验校正、置信度差距、熵值及区域摘要。检查点中存储了特征归一化参数和标签顺序。
  3. 逐类别保序回归器:在开发集预测结果上拟合,用于校准 MLP 输出的概率。流程随后在各类别之间进行重新归一化。校准可能同时改变置信度和预测标签。

完整流程需要以下三个文件:

  • lid_ova_full.bin
  • mlp_stacker_ln.pt
  • isotonic_calibration.pkl

classify.py 在 CPU 上运行完整流程,包括预处理和特征提取。每个经预处理后仍非空的输入都会获得一个预测标签以及全部 51 个类别的校准概率。

评估

我们在 84,870 条阿拉伯语样本上进行评估,样本来自多个基准数据集,包括 NADI、MADAR、QADI、Casablanca、FLEURS、SMOL、Omnilingual ASR 和 Hassaniya。 在摩洛哥达利贾语(Moroccan Darija)上,LIDstral Arabic 取得了 88.67% 的 F1 值,而该方言上表现最强的基线 LahjatBERT ALDi CL 为 72.65%,GlotLID v3 为 71.28%。

Per-label F1 on the Arabic benchmark

使用

安装

  1. 下载该仓库:
pip install huggingface_hub
hf auth login
hf download mistralai/LIDstral-Arabic --local-dir LIDstral-Arabic
  1. 安装环境:
cd LIDstral-Arabic
pip install -r requirements.txt

使用模型:

  1. 对文本进行分类:
python classify.py --text "ياك نتا بخير؟ آش خبارك مع الخدمة؟ نتمنى تكون الأمور كلها مزيانة من جيهتك."

示例输出,已格式化以便阅读。此处仅展示部分选定的概率;完整输出包含所有类别。

{
  "label": "Morocco",
  "confidence": 0.9523,
  "probabilities": {
    "Morocco": 0.9523,
    "Algeria": 0.0125,
    "Mauritania": 0.0115,
    "MSA": 0.0062,
    "Libya": 0.0048,
    "..."
  }
}

将三个模型文件放在同一目录下。脚本默认从自身所在目录加载这些文件。使用 --model-dir 参数指定其他本地模型目录。

  1. 从 JSONL 列表中批量分类多个样本:

对于 JSONL 输入,每一行必须包含一个字符串类型的 text 字段:

python classify.py --input input.jsonl > predictions.jsonl

使用 --input - 从标准输入读取。脚本会为每个输入返回一个 JSON 对象,其中包含 label、confidence 和 probabilities 字段。空输入以及被预处理完全移除的文本将触发错误。

  1. 通过 Python API 对多个样本进行分类:

若需仅加载一次模型并对多篇文本进行分类,请使用 Python API:

from classify import ArabicLID

model = ArabicLID(".").load()
predictions = model.predict([
    "ياك نتا بخير؟ آش خبارك مع الخدمة؟ نتمنى تكون الأمور كلها مزيانة من جيهتك.",
    "هذا نص باللغة العربية الفصحى.",
])

示例批量输出,其中展示了每个输入对应的部分概率:

[
  {                                                                                                                                                                        
    "label": "Morocco",                                                                                                                                                    
    "confidence": 0.9466,
    "probabilities": {                                                                                                                                                     
      "Morocco": 0.9466,                                    
      "MSA": 0.0185,                                                                                                                                                       
      "Algeria": 0.0125,                                    
      "..."
    }
  },
  {
    "label": "MSA",
    "confidence": 0.7295,
    "probabilities": {
      "MSA": 0.7295,
      "Iraq": 0.1203,
      "Egypt": 0.0266,
      "..."
    }
  }
]

预处理阶段会去除网络噪声和 ASR 伪影、元音符号、装饰性拉长及重复标点,同时保留 Alef 变体。

局限性

该模型始终将其输入归入 51 个支持类别之一,因此可能会将不支持的语言或混合语言文本错误分类。

许可证

本模型采用 Apache 2.0 License 许可协议。

您不得以侵犯、挪用或以其他方式违反任何第三方权利(包括知识产权)的方式使用本模型。