情感分类模型

本模型是针对实际场景中常见的社交媒体文本情感分析需求所提供的一个模型。模型使用TweetEval社交媒体情感分析文本数据，在BERT预训练模型上进行微调，贴合下游社交媒体领域的情感分类能力。

模型描述

针对实际场景中常见的社交媒体文本情感分析需求，达摩院提供了本情感分类模型。该模型通过在BERT预训练模型上使用社交媒体tweet文本情感分类数据微调得到，可用于社交媒体领域的文本情感分类。模型特点如下：

• 本模型基于bert-base-uncased预训练模型进行微调。
• 微调时采用TweetEval社交媒体情感分类数据集。

期望模型使用方式以及适用范围

输入自然语言文本，模型会给出该文本的情感分类标签(0, 1, 2)，即（Negative, Neutral, Positive）以及相应的概率。具体调用方式请参考代码示例。

如何使用

在安装完成ModelScope-lib之后，即可在ModelScope框架上通过Pipeline调用来使用。

推理代码范例

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

input = 'Good night.'
semantic_cls = pipeline(Tasks.text_classification, 'damo/nlp_bert_sentiment-analysis_english-base')
result = semantic_cls(input)

print('输入文本:\n{}\n'.format(input))
print('分类结果:\n{}'.format(result))

模型局限性以及可能的偏差

模型在TweetEval情感分类数据集上训练，在其他非社交媒体垂直领域效果可能会有所下降。

训练数据介绍

训练数据采用TweetEval情感分类数据集，数据来源于https://github.com/cardiffnlp/tweeteval

数据评估及结果

在TweetEval的测试集上的f1为69.18。

相关论文以及引用信息

@article{barbieri2020tweeteval,
  title={Tweeteval: Unified benchmark and comparative evaluation for tweet classification},
  author={Barbieri, Francesco and Camacho-Collados, Jose and Neves, Leonardo and Espinosa-Anke, Luis},
  journal={arXiv preprint arXiv:2010.12421},
  year={2020}
}

Ascend NPU 精度评测

NPU vs CPU 精度对比（CPU 为基线，NPU 为验证目标）：

精度评测源代码和日志详见 eval/ 目录。