Smart Turn v2

Smart Turn v2 是一款开源语义语音活动检测（VAD）模型，它通过分析原始波形而非文本，判断说话者是否已结束发言。
与 v1 版本相比，它具有以下特点：

• 多语言支持——覆盖 14 种语言（英语、法语、德语、西班牙语、葡萄牙语、中文、日语、印地语、意大利语、韩语、荷兰语、波兰语、俄语、土耳其语）。
• 体积缩小 6 倍——约 360 MB，而 v1 为 2.3 GB。
• 速度提升 3 倍——在 NVIDIA L40S 上分析 8 秒音频仅需约 12 毫秒。

相关链接

• 博客文章：Smart Turn v2
• GitHub 仓库，包含训练和推理代码

预期用途与任务

该模型输出一个概率值；≥ 0.5 的值表示说话者已完成其 utterance。

模型架构

• 主干网络 : wav2vec2 编码器
• 头部网络 : 浅层线性分类器
• 参数数量 : 94.8 M（float32）
• 检查点 : 360 MB Safetensors（压缩后）
  在消融实验中，wav2vec2 + 线性分类器 配置的性能优于 LSTM 和更深层的 Transformer 变体。

训练数据

• 句子已使用 Gemini 2.5 Flash 进行清洗，以去除不合语法、有争议或仅书面使用的文本。
• 使用 Claude 和 GPT-o3 构建了每种语言的填充词列表（例如“um”、“えーと”），并将其注入句子末尾，以教会模型识别中断的 speech。

所有音频/文本对均在 pipecat-ai/datasets 中心发布。

评估与性能

未见过的合成测试集准确率（50% 完整 / 50% 不完整）

人类英语基准（human_5_all）：99% 准确率。

8秒音频的推理延迟

oai_citation:7‡Daily

如何使用

有关使用该模型的更多信息（无论是独立使用还是与Pipecat配合使用），请参阅博客文章和GitHub仓库。