A
ai_shell/model-3
模型介绍
文件和版本
Pull Requests
讨论
分析

Paraformer-large模型介绍

Highlights

  • Paraformer-large-aishell2模型基于AISHELL-2数据集微调。

Release Notes

  • 2023年2月（2月17号发布）：funasr-0.2.0, modelscope-1.3.0

    • 功能完善：

      • 新增加模型导出功能，所有Paraformer模型与本地finetune模型，支持一键导出onnx格式模型与torchscripts格式模型，用于模型部署。
      • 新增加Paraformer模型onnxruntime部署功能，无须安装Modelscope与FunASR，即可部署，cpu实测，onnxruntime推理速度提升近3倍(rtf: 0.110->0.038)。
      • 新增加grpc服务功能
      • 优化Paraformer-large长音频模型时间戳，对badcase时间戳预测准确率有较大幅度提升，平均首尾时间戳偏移74.7ms，详见论文。
      • 新增加任意VAD模型、ASR模型与标点模型自由组合功能，可以自由组合Modelscope中任意模型以及本地finetune后的模型进行推理。
      • 新增加采样率自适应功能，任意输入采样率音频会自动匹配到模型采样率；新增加多种语音格式支持，如，mp3、flac、ogg、opus等。

    • 上线新模型：

      • Paraformer-large热词模型，可实现热词定制化，基于提供的热词列表，对热词进行激励增强，提升模型对热词的召回。
      • MFCCA多通道多说话人识别模型，与西工大音频语音与语言处理研究组合作论文，一种基于多帧跨通道注意力机制的多通道语音识别模型。
      • 8k语音端点检测VAD模型，可用于检测长语音片段中有效语音的起止时间点，支持流式输入，最小支持10ms语音输入流。
      • UniASR流式离线一体化模型: 16k UniASR闽南语、 16k UniASR法语、 16k UniASR德语、 16k UniASR越南语、 16k UniASR波斯语。
      • 基于Data2vec结构无监督预训练Paraformer模型，采用Data2vec无监督预训练初值模型，在AISHELL-1数据中finetune Paraformer模型。

  • 2023年1月（1月16号发布）：funasr-0.1.6, modelscope-1.2.0

    • 上线新模型：
      • Paraformer-large长音频模型，集成VAD、ASR、标点与时间戳功能，可直接对时长为数小时音频进行识别，并输出带标点文字与时间戳。
      • 中文无监督预训练Data2vec模型，采用Data2vec结构，基于AISHELL-2数据的中文无监督预训练模型，支持ASR或者下游任务微调模型。
      • 16k语音端点检测VAD模型，可用于检测长语音片段中有效语音的起止时间点。
      • 中文标点预测通用模型，可用于语音识别模型输出文本的标点预测。
      • 8K UniASR流式模型，8K UniASR模型，一种流式与离线一体化语音识别模型，进行流式语音识别的同时，能够以较低延时输出离线识别结果来纠正预测文本。
      • Paraformer-large基于AISHELL-1微调模型、AISHELL-2微调模型，将Paraformer-large模型分别基于AISHELL-1与AISHELL-2数据微调。
      • 说话人确认模型 ，可用于说话人确认，也可以用来做说话人特征提取。
      • 小尺寸设备端Paraformer指令词模型，Paraformer-tiny指令词版本，使用小参数量模型支持指令词识别。
    • 将原TensorFlow模型升级为Pytorch模型，进行推理，并支持微调定制，包括：
      • 16K 模型：Paraformer中文、 Paraformer-large中文、 UniASR中文、 UniASR-large中文、 UniASR中文流式模型、 UniASR方言、 UniASR方言流式模型、 UniASR日语、 UniASR日语流式模型、 UniASR印尼语、 UniASR印尼语流式模型、 UniASR葡萄牙语、 UniASR葡萄牙语流式模型、 UniASR英文、 UniASR英文流式模型、 UniASR俄语、 UniASR俄语流式模型、 UniASR韩语、 UniASR韩语流式模型、 UniASR西班牙语、 UniASR西班牙语流式模型、 UniASR粤语简体、 UniASR粤语简体流式模型、
      • 8K 模型：Paraformer中文、 UniASR中文、 UniASR中文流式模型

项目介绍

Paraformer是达摩院语音团队提出的一种高效的非自回归端到端语音识别框架。本项目为Paraformer中文通用语音识别模型，采用工业级数万小时的标注音频进行模型训练，保证了模型的通用识别效果。模型可以被应用于语音输入法、语音导航、智能会议纪要等场景。

Paraformer模型结构

Paraformer模型结构如上图所示，由 Encoder、Predictor、Sampler、Decoder 与 Loss function 五部分组成。Encoder可以采用不同的网络结构，例如self-attention，conformer，SAN-M等。Predictor 为两层FFN，预测目标文字个数以及抽取目标文字对应的声学向量。Sampler 为无可学习参数模块，依据输入的声学向量和目标向量，生产含有语义的特征向量。Decoder 结构与自回归模型类似，为双向建模（自回归为单向建模）。Loss function 部分，除了交叉熵（CE）与 MWER 区分性优化目标，还包括了 Predictor 优化目标 MAE。

其核心点主要有：

  • Predictor 模块：基于 Continuous integrate-and-fire (CIF) 的 预测器 (Predictor) 来抽取目标文字对应的声学特征向量，可以更加准确的预测语音中目标文字个数。
  • Sampler：通过采样，将声学特征向量与目标文字向量变换成含有语义信息的特征向量，配合双向的 Decoder 来增强模型对于上下文的建模能力。
  • 基于负样本采样的 MWER 训练准则。

更详细的细节见：

  • 论文： Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition
  • 论文解读：Paraformer: 高识别率、高计算效率的单轮非自回归端到端语音识别模型

如何使用与训练自己的模型

本项目提供的预训练模型是基于大数据训练的通用领域识别模型，开发者可以基于此模型进一步利用ModelScope的微调功能或者本项目对应的Github代码仓库FunASR进一步进行模型的领域定制化。

在Notebook中开发

对于有开发需求的使用者，特别推荐您使用Notebook进行离线处理。先登录ModelScope账号，点击模型页面右上角的“在Notebook中打开”按钮出现对话框，首次使用会提示您关联阿里云账号，按提示操作即可。关联账号后可进入选择启动实例界面，选择计算资源，建立实例，待实例创建完成后进入开发环境，进行调用。

基于ModelScope进行推理

  • 推理支持音频格式如下：
    • wav文件路径，例如：data/test/audios/asr_example.wav
    • wav文件url，例如：https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/asr_example_zh.wav
    • wav二进制数据，格式bytes，例如：用户直接从文件里读出bytes数据或者是麦克风录出bytes数据。
    • 已解析的audio音频，例如：audio, rate = soundfile.read("asr_example_zh.wav")，类型为numpy.ndarray或者torch.Tensor。
    • wav.scp文件，需符合如下要求：
cat wav.scp
asr_example1  data/test/audios/asr_example1.wav
asr_example2  data/test/audios/asr_example2.wav
...
  • 若输入格式wav文件url，api调用方式可参考如下范例：
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

inference_pipeline = pipeline(
    task=Tasks.auto_speech_recognition,
    model='damo/speech_paraformer-large_asr_nat-zh-cn-16k-aishell2-vocab8404-pytorch')

rec_result = inference_pipeline(audio_in='https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/asr_example_zh.wav')
print(rec_result)
  • 输入音频为pcm格式，调用api时需要传入音频采样率参数audio_fs，例如：
rec_result = inference_pipeline(audio_in='https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/asr_example_zh.pcm', audio_fs=16000)
  • 若输入格式为文件wav.scp(注：文件名需要以.scp结尾)，可添加 output_dir 参数将识别结果写入文件中，并可设置解码batch_size，参考示例如下：
inference_pipeline = pipeline(
    task=Tasks.auto_speech_recognition,
    model='damo/speech_paraformer-large_asr_nat-zh-cn-16k-aishell2-vocab8404-pytorch',
    output_dir='./output_dir',
    batch_size=32)

inference_pipeline("wav.scp")

识别结果输出路径结构如下：

tree output_dir/
output_dir/
└── 1best_recog
    ├── rtf
    ├── score
    └── text

1 directory, 3 files

rtf：计算过程耗时统计

score：识别路径得分

text：语音识别结果文件

  • 若输入音频为已解析的audio音频，api调用方式可参考如下范例：
import soundfile

waveform, sample_rate = soundfile.read("asr_example_zh.wav")
rec_result = inference_pipeline(audio_in=waveform)

AISHELL-2

dev_iostest_androidtest_iostest_mic
Paraformer-large
2.80
3.13
2.85
3.06
Paraformer-large-finetune
2.60
2.84
2.82
2.88

使用方式以及适用范围

运行范围

  • 现阶段只能在Linux-x86_64运行，不支持Mac和Windows。

使用方式

  • 直接推理：可以直接对输入音频进行解码，输出目标文字。
  • 微调：加载训练好的模型，采用私有或者开源数据进行模型训练。

使用范围与目标场景

  • 适合与离线语音识别场景，如录音文件转写，配合GPU推理效果更加，推荐输入语音时长在20s以下。

模型局限性以及可能的偏差

考虑到特征提取流程和工具以及训练工具差异，会对CER的数据带来一定的差异（<0.1%），推理GPU环境差异导致的RTF数值差异。

相关论文以及引用信息

@inproceedings{gao2022paraformer,
  title={Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition},
  author={Gao, Zhifu and Zhang, Shiliang and McLoughlin, Ian and Yan, Zhijie},
  booktitle={INTERSPEECH},
  year={2022}
}