LIDstral Arabic 是一款面向阿拉伯文字文本的快速语言与方言分类器。它能够识别现代标准阿拉伯语、所有阿拉伯语方言,以及同样使用阿拉伯文字的非阿拉伯语语言。
我们在训练数据中纳入了这些非阿拉伯语语言,以帮助模型区分共享同一文字系统的语言,避免仅凭文字形式就将文本归类为阿拉伯语。
该模型将 fastText 一对多(OVA)分类器、MLP 堆叠器以及逐类别保序校准相结合:
完整流程需要以下三个文件:
lid_ova_full.binmlp_stacker_ln.ptisotonic_calibration.pklclassify.py 在 CPU 上运行完整流程,包括预处理和特征提取。每个经预处理后仍非空的输入都会获得一个预测标签以及全部 51 个类别的校准概率。
我们在 84,870 条阿拉伯语样本上进行评估,样本来自多个基准数据集,包括 NADI、MADAR、QADI、Casablanca、FLEURS、SMOL、Omnilingual ASR 和 Hassaniya。 在摩洛哥达利贾语(Moroccan Darija)上,LIDstral Arabic 取得了 88.67% 的 F1 值,而该方言上表现最强的基线 LahjatBERT ALDi CL 为 72.65%,GlotLID v3 为 71.28%。

pip install huggingface_hub
hf auth login
hf download mistralai/LIDstral-Arabic --local-dir LIDstral-Arabiccd LIDstral-Arabic
pip install -r requirements.txtpython classify.py --text "ياك نتا بخير؟ آش خبارك مع الخدمة؟ نتمنى تكون الأمور كلها مزيانة من جيهتك."示例输出,已格式化以便阅读。此处仅展示部分选定的概率;完整输出包含所有类别。
{
"label": "Morocco",
"confidence": 0.9523,
"probabilities": {
"Morocco": 0.9523,
"Algeria": 0.0125,
"Mauritania": 0.0115,
"MSA": 0.0062,
"Libya": 0.0048,
"..."
}
}将三个模型文件放在同一目录下。脚本默认从自身所在目录加载这些文件。使用 --model-dir 参数指定其他本地模型目录。
对于 JSONL 输入,每一行必须包含一个字符串类型的 text 字段:
python classify.py --input input.jsonl > predictions.jsonl使用 --input - 从标准输入读取。脚本会为每个输入返回一个 JSON 对象,其中包含 label、confidence 和 probabilities 字段。空输入以及被预处理完全移除的文本将触发错误。
若需仅加载一次模型并对多篇文本进行分类,请使用 Python API:
from classify import ArabicLID
model = ArabicLID(".").load()
predictions = model.predict([
"ياك نتا بخير؟ آش خبارك مع الخدمة؟ نتمنى تكون الأمور كلها مزيانة من جيهتك.",
"هذا نص باللغة العربية الفصحى.",
])示例批量输出,其中展示了每个输入对应的部分概率:
[
{
"label": "Morocco",
"confidence": 0.9466,
"probabilities": {
"Morocco": 0.9466,
"MSA": 0.0185,
"Algeria": 0.0125,
"..."
}
},
{
"label": "MSA",
"confidence": 0.7295,
"probabilities": {
"MSA": 0.7295,
"Iraq": 0.1203,
"Egypt": 0.0266,
"..."
}
}
]预处理阶段会去除网络噪声和 ASR 伪影、元音符号、装饰性拉长及重复标点,同时保留 Alef 变体。
该模型始终将其输入归入 51 个支持类别之一,因此可能会将不支持的语言或混合语言文本错误分类。
本模型采用 Apache 2.0 License 许可协议。
您不得以侵犯、挪用或以其他方式违反任何第三方权利(包括知识产权)的方式使用本模型。