HuggingFace镜像/LocalVQE
模型介绍
文件和版本
分析

LocalVQE

Open in Spaces GitHub License: Apache 2.0

本地语音质量增强 — 面向 16 kHz 语音的紧凑型神经网络模型,支持声学回声消除(AEC)、噪声抑制(NS)和去混响,可在普通 CPU 上实时运行。因果流式处理(256 采样点跳步,16 ms 延迟)。

  • 在线体验: https://huggingface.co/spaces/LocalAI-io/LocalVQE-demo
  • 源码、构建系统与测试: https://github.com/localai-org/LocalVQE

本页托管已发布的模型权重。推理基于 GGML C++ 引擎直接运行 GGUF 文件(构建说明见 GitHub)。

作者: Richard Palethorpe(richiejp)与 Claude(Anthropic)。LocalVQE 是 DeepVQE(Indenbom 等,Interspeech 2023)的流式、CPU 优化衍生版本。

模型

速度数据基于 Ryzen 9 7900(Zen4),4 线程,每 16 ms 跳步的耗时;RT = 实时因子(数值越大,远超实时的程度越高)。

版本功能参数量大小(F32)速度适用场景
v1.3 (当前)AEC + NS + 去混响4.8 M~19 MB3.2 ms · 5.0× RT追求最佳综合质量,CPU 资源充裕
v1.2AEC + NS + 去混响1.3 M~5 MB1.7 ms · 8.9× RTCPU 受限或低功耗设备
v1.4-AEC仅回声消除(保留人声、噪声、房间混响)203 K~3 MB0.83 ms · 19× RT噪声抑制由其他模块处理,或希望保留房间声场
v1.4-AEC 2.7K仅回声消除,线性滤波器(无掩码)2.7 K~17 KB0.36 ms · 44× RT最轻量回声消除器;回声混响不严重时使用
v1.1 / v1AEC + NS + 去混响1.3 M~5 MB—已被 v1.2 取代
  • 联合模型(v1.2 / v1.3) 在单次前向传播中同时消除回声、噪声和混响。v1.3 网络更宽,噪声滤波效果更好;v1.2 单跳步计算量约为其 1/4。
  • v1.4-AEC 仅去除远端回声,人声、房间混响和背景噪声原样通过。其结构为经典自适应滤波器后接小型神经掩码。2.7K 版本仅保留该滤波器本身——更轻量、处理更温和,但无法像掩码那样去除强混响回声。
  • 所有模型除麦克风信号外,还需要一路远端参考信号(即扬声器播放内容的环回)。
  • bf16 格式的 GGUF 文件体积约缩小 12%,质量与速度完全一致;除非下载体积敏感,建议选用 f32。

轻量级系列 — GTCRN-AEC(适用于低功耗 CPU)

一条专为低功耗 CPU 设计的、规模更小的独立模型线:约 49K 参数的 GTCRN-AEC 网络——基于 GTCRN(Rong et al., ICASSP 2024)的独立架构,配合本项目 DSP 回声消除前端使用。GGUF 文件为自包含格式,因此与其他模型一样,使用同一条命令即可运行。两种变体共享同一架构:

模型功能参数量
localvqe-pi-v1-49kAEC + NS + 去混响(完整增强)49 K
localvqe-pi-aec-v1-49k仅回声消除——保留噪声与混响49 K

在真实 ggml 计算图上的整段实时因子(RTF),基于 Raspberry Pi 5 进行基准测试(低功耗目标平台的一个示例;test_gtcrn --bench,Cortex-A76,Ubuntu 24.04),在设备端与 PyTorch 参考实现进行一致性验证,误差在 ~1e-6 以内。两种变体的 RTF 完全相同:

线程数8 s 片段RTF实时倍率
1388 ms0.048~21×
2219 ms0.027~37×
4163 ms0.020~49×

单线程下,每 16 ms 帧长仅需约 0.78 ms。可运行于任意 CPU;对于单板 ARM 设备,使用 ggml/docker/Dockerfile.arm64 交叉编译为 aarch64 架构(docker buildx + qemu)。f16/q8 量化版本仅在正式发布时提供。

本仓库中的文件

文件大小模型
localvqe-v1.4-aec-200K-f32.gguf3 MBv1.4-AEC(仅回声消除)
localvqe-v1.4-aec-200K-bf16.gguf2.6 MBv1.4-AEC,卷积权重为 BF16
localvqe-v1.4-aec-2.7K-f32.gguf17 KBv1.4-AEC 仅前端(自适应滤波器,无掩码)
localvqe-pi-v1-49k-f32.gguf2.3 MB轻量级系列 — GTCRN-AEC 完整增强(回声 + NS + 去混响)
localvqe-pi-aec-v1-49k-f32.gguf2.3 MB轻量级系列 — GTCRN-AEC 仅回声消除(保留噪声与混响)
localvqe-v1.3-4.8M-f32.gguf19 MBv1.3 联合模型 — 引擎加载的 GGUF
localvqe-v1.3-4.8M.pt55 MBv1.3 联合模型 — PyTorch 检查点(研究用)
localvqe-v1.2-1.3M-f32.gguf5 MBv1.2 联合模型 — GGUF
localvqe-v1.2-1.3M.pt11 MBv1.2 联合模型 — PyTorch 检查点
localvqe-v1.1-1.3M-f32.gguf、localvqe-v1-1.3M-f32.gguf5 MB早期发布版本

v1.4-AEC 仅提供 GGUF 格式(无 .pt 文件)。引擎在加载时会对照内置的 SHA256 白名单校验 GGUF 文件完整性。

性能评估

在ICASSP 2022 AEC Challenge 盲测集(真实录音)上完成了全部 800 条音频的评估。AECMOS echo / deg 的评分范围为 1–5(分数越高表示回声消除越彻底 / 语音越清晰);盲测 ERLE 的计算公式为 10·log10(E[mic²]/E[enh²]),仅在纯远端场景中具有参考意义。未处理麦克风信号的 echo MOS 在五个场景中分别为 2.67 / 2.56 / 1.90 / 2.13 / 5.00。

v1.4-AEC —— 该模型设计上保留了背景噪声与房间混响,因此其 ERLE 和远端 DNSMOS 有意低于联合模型(它不会移除环境声):

Scenarionecho ↑deg ↑ERLE ↑OVRL
doubletalk1154.202.45—2.59
doubletalk-with-movement1854.192.45—2.55
farend-singletalk1073.804.9914.6 dB1.37
farend-singletalk-with-movement1933.864.9511.1 dB1.31
nearend-singletalk2004.993.99—3.08

v1.4-AEC 2.7K(仅前端模块)—— 以完整模型 1/74 的参数量,在主观远端回声抑制上达到甚至超越完整模型的效果;mask 模块的额外工作体现在上表中更高的 ERLE,而非更高的 echo MOS:

Scenarionecho ↑deg ↑ERLE ↑OVRL
doubletalk1154.002.79—2.46
doubletalk-with-movement1853.902.92—2.42
farend-singletalk1074.065.006.5 dB1.24
farend-singletalk-with-movement1934.054.973.9 dB1.22
nearend-singletalk2004.983.77—3.03

v1.3(联合模型)和 v1.2(联合模型)—— 这两个模型同样会移除背景声,因此其远端 ERLE 远高于 v1.4-AEC,不具备直接可比性:

Scenarionv1.3 echo / deg / ERLE / OVRLv1.2 echo / deg / ERLE / OVRL
doubletalk1154.73 / 2.62 / 8.5 dB / 2.894.72 / 2.37 / 8.4 dB / 2.83
doubletalk-with-movement1854.67 / 2.43 / 8.3 dB / 2.854.65 / 2.30 / 8.1 dB / 2.79
farend-singletalk1073.69 / 4.83 / 50.9 dB / 1.943.78 / 4.91 / 45.7 dB / 1.80
farend-singletalk-with-movement1933.88 / 4.98 / 49.9 dB / 1.964.12 / 4.96 / 40.6 dB / 1.75
nearend-singletalk2005.00 / 4.18 / 2.4 dB / 3.175.00 / 4.16 / 2.1 dB / 3.17

延迟

在 Ryzen 9 7900(Zen4)上的每跳 p50 / 实时倍率。采样率 16 kHz,跳长 256 样本。

模型单线程4 线程dGPU(RTX 5070 Ti,Vulkan)
v1.4-AEC (203 K)1.29 ms · 12.2×0.83 ms · 18.6×在 CPU 上运行¹
v1.4-AEC 2.7K0.36 ms · 44×(单线程)—在 CPU 上运行¹
v1.3 (4.8 M)9.73 ms · 1.58×3.21 ms · 4.97×2.57 ms · 6.07×
v1.2 (1.3 M)4.28 ms · 3.72×1.65 ms · 8.90×1.96 ms · 7.85×

¹ v1.4-AEC 的自适应前端始终在 CPU 上运行,且其神经网络阶段体量过小,GPU 卸载无法带来收益。在 Zen4 上,4 线程是所有模型的最优线程数;库默认使用 min(4, available CPUs)。

内存(CPU)

模型在约 7 MiB 的二进制基线之上额外占用的工作集:

模型加载后增量峰值 RSS
v1.3 (4.8 M)+24.4 MiB34.1 MiB
v1.2 (1.3 M)+10.0 MiB19.6 MiB
v1.4-AEC (203 K)+6.7 MiB17.0 MiB

运行推理

下载一个 GGUF 文件(通过 Web UI、huggingface-cli 或 hf_hub_download),然后使用 GGML CLI 运行——所有模型的命令相同,只需替换文件即可:

./localvqe localvqe-v1.3-4.8M-f32.gguf --in-wav mic.wav ref.wav --out-wav out.wav

麦克风和远端参考信号均采用 16 kHz 单声道 PCM 格式。引擎构建、C API(liblocalvqe.so)以及 OBS Studio 插件的详细文档见 GitHub 仓库。

PyTorch 参考

localvqe-v1.3-4.8M.pt 和 localvqe-v1.2-1.3M.pt 是用于生成 GGUF 导出文件的检查点,适用于验证、消融实验和研究,而非终端用户推理(终端用户推理请使用 GGML 版本)。模型定义位于 GitHub 仓库 的 pytorch/ 目录下。

引用

可通过 https://github.com/localai-org/LocalVQE 中的 CITATION.cff 文件引用本仓库(GitHub 的"Cite this repository"按钮可生成 APA / BibTeX 格式),以及上游 DeepVQE 论文:

@inproceedings{indenbom2023deepvqe,
  title     = {DeepVQE: Real Time Deep Voice Quality Enhancement for Joint
               Acoustic Echo Cancellation, Noise Suppression and Dereverberation},
  author    = {Indenbom, Evgenii and Beltr{\'a}n, Nicolae-C{\u{a}}t{\u{a}}lin
               and Chernov, Mykola and Aichner, Robert},
  booktitle = {Interspeech}, year = {2023},
  doi       = {10.21437/Interspeech.2023-2176}
}

紧凑的 GTCRN-AEC 系列基于 GTCRN —— 请同时引用:

@inproceedings{rong2024gtcrn,
  title     = {GTCRN: A Speech Enhancement Model Requiring Ultralow
               Computational Resources},
  author    = {Rong, Xiaobin and Sun, Tianchi and Zhang, Xu and Hu, Yuxiang
               and Zhu, Changbao and Lu, Jing},
  booktitle = {ICASSP 2024 - 2024 IEEE International Conference on Acoustics,
               Speech and Signal Processing (ICASSP)},
  pages     = {971--975}, year = {2024},
  doi       = {10.1109/ICASSP48485.2024.10448310}
}

数据集来源

模型权重基于 ICASSP 2023 DNS Challenge (Microsoft,CC BY 4.0)进行训练,并在 ICASSP 2022/2023 AEC Challenge 上进行了微调。

安全说明

训练数据经过 DNSMOS 过滤,该模型可能将情绪激动的语音(如尖叫声、哭泣声)误判为噪声。LocalVQE 可能会衰减此类信号,不得在紧急或安全关键场景中使用。

许可证

Apache License 2.0.