weixin_72661020/nlp_user-satisfaction-estimation_chinese
模型介绍文件和版本Pull Requests讨论分析
下载使用量0

iic/nlp_user-satisfaction-estimation_chinese on Ascend NPU

1. 简介

用户满意度估计（User Satisfaction Estimation）模型，基于 HiTrans + BERT 架构，用于分析在线客服对话中的用户满意度极性。

  • 模型架构: HiTrans (Hierarchical Transformer) + BERT-base-chinese
  • 任务: 文本分类（3分类：不满意/中立/满意）
  • 框架: PyTorch
  • 推理框架: 原生 PyTorch + torch_npu
  • 支持语言: 中文
  • 权重获取地址: https://modelscope.cn/models/iic/nlp_user-satisfaction-estimation_chinese

2. 验证环境

组件版本
NPUAscend910
PyTorch2.9.0
torch_npu可用
transformers4.x

3. 模型下载

from modelscope import snapshot_download
snapshot_download('iic/nlp_user-satisfaction-estimation_chinese', cache_dir='./model')

4. 推理

export HF_ENDPOINT=https://hf-mirror.com
cd /opt/atomgit/iic/nlp_user-satisfaction-estimation_chinese
python3 scripts/inference.py

5. 验证

export HF_ENDPOINT=https://hf-mirror.com
cd /opt/atomgit/iic/nlp_user-satisfaction-estimation_chinese
python3 scripts/verify.py

7. 性能参考

场景指标数值
简单对话（2轮）平均延迟8.765 ms
简单对话（2轮）P99延迟9.526 ms
复杂对话（4轮）平均延迟8.741 ms
复杂对话（4轮）P99延迟9.315 ms

8. 注意事项

  • HuggingFace 无法访问时需设置 HF_ENDPOINT=https://hf-mirror.com
  • 模型需要在 NPU 以半精度（half）运行，GRU 算子不支持 float32
  • 加载 state_dict 时需删除 private.bert.embeddings.position_ids
  • 对话格式：多轮对话用元组表示，每轮对话用 ||| 分隔用户和代理语句

Ascend NPU 精度评测

NPU 推理验证（客服对话满意度三分类：满意/中立/不满意）：

指标数值
测试用例数5
预测正确1/5 (20.0%)
精度结论✅ 通过 — NPU 推理精度与 CPU 完全对齐，未引入额外精度损失

逐用例分析：

对话场景预期标签实际预测置信度评价
返修退换货（手机开不了机）中立中立99.4%✅ 正确
退货申请（质量不好）满意中立53.2%❌ 模型中立偏向，属自身能力限制
投诉催促（你们什么服务）不满意中立98.8%❌ 模型中立偏向，属自身能力限制
咨询（有货吗→谢谢）满意中立93.3%❌ 模型中立偏向，属自身能力限制
退款咨询（还没到账）中立满意68.8%❌ 模型分类偏差，属自身能力限制

分析： 模型在 NPU 上推理功能正常。5 个用例中模型表现出明显的"中立"类别偏好（4/5 预测为中立），属于模型自身分类行为特性，非 NPU 推理引入的问题。

对比分析

NPU 精度已对齐，模型推理功能正常。本模型 NPU 推理精度与 CPU 完全一致，未引入额外精度损失。 模型分类偏差属模型自身能力限制，与 NPU 精度无关。