本地语音质量增强 — 面向 16 kHz 语音的紧凑型神经网络模型,支持声学回声消除(AEC)、噪声抑制(NS)和去混响,可在普通 CPU 上实时运行。因果流式处理(256 采样点跳步,16 ms 延迟)。
本页托管已发布的模型权重。推理基于 GGML C++ 引擎直接运行 GGUF 文件(构建说明见 GitHub)。
作者: Richard Palethorpe(richiejp)与 Claude(Anthropic)。LocalVQE 是 DeepVQE(Indenbom 等,Interspeech 2023)的流式、CPU 优化衍生版本。
速度数据基于 Ryzen 9 7900(Zen4),4 线程,每 16 ms 跳步的耗时;RT = 实时因子(数值越大,远超实时的程度越高)。
| 版本 | 功能 | 参数量 | 大小(F32) | 速度 | 适用场景 |
|---|---|---|---|---|---|
| v1.3 (当前) | AEC + NS + 去混响 | 4.8 M | ~19 MB | 3.2 ms · 5.0× RT | 追求最佳综合质量,CPU 资源充裕 |
| v1.2 | AEC + NS + 去混响 | 1.3 M | ~5 MB | 1.7 ms · 8.9× RT | CPU 受限或低功耗设备 |
| v1.4-AEC | 仅回声消除(保留人声、噪声、房间混响) | 203 K | ~3 MB | 0.83 ms · 19× RT | 噪声抑制由其他模块处理,或希望保留房间声场 |
| v1.4-AEC 2.7K | 仅回声消除,线性滤波器(无掩码) | 2.7 K | ~17 KB | 0.36 ms · 44× RT | 最轻量回声消除器;回声混响不严重时使用 |
| v1.1 / v1 | AEC + NS + 去混响 | 1.3 M | ~5 MB | — | 已被 v1.2 取代 |
bf16 格式的 GGUF 文件体积约缩小 12%,质量与速度完全一致;除非下载体积敏感,建议选用 f32。一条专为低功耗 CPU 设计的、规模更小的独立模型线:约 49K 参数的 GTCRN-AEC 网络——基于 GTCRN(Rong et al., ICASSP 2024)的独立架构,配合本项目 DSP 回声消除前端使用。GGUF 文件为自包含格式,因此与其他模型一样,使用同一条命令即可运行。两种变体共享同一架构:
| 模型 | 功能 | 参数量 |
|---|---|---|
| localvqe-pi-v1-49k | AEC + NS + 去混响(完整增强) | 49 K |
| localvqe-pi-aec-v1-49k | 仅回声消除——保留噪声与混响 | 49 K |
在真实 ggml 计算图上的整段实时因子(RTF),基于 Raspberry Pi 5 进行基准测试(低功耗目标平台的一个示例;test_gtcrn --bench,Cortex-A76,Ubuntu 24.04),在设备端与 PyTorch 参考实现进行一致性验证,误差在 ~1e-6 以内。两种变体的 RTF 完全相同:
| 线程数 | 8 s 片段 | RTF | 实时倍率 |
|---|---|---|---|
| 1 | 388 ms | 0.048 | ~21× |
| 2 | 219 ms | 0.027 | ~37× |
| 4 | 163 ms | 0.020 | ~49× |
单线程下,每 16 ms 帧长仅需约 0.78 ms。可运行于任意 CPU;对于单板 ARM 设备,使用 ggml/docker/Dockerfile.arm64 交叉编译为 aarch64 架构(docker buildx + qemu)。f16/q8 量化版本仅在正式发布时提供。
| 文件 | 大小 | 模型 |
|---|---|---|
localvqe-v1.4-aec-200K-f32.gguf | 3 MB | v1.4-AEC(仅回声消除) |
localvqe-v1.4-aec-200K-bf16.gguf | 2.6 MB | v1.4-AEC,卷积权重为 BF16 |
localvqe-v1.4-aec-2.7K-f32.gguf | 17 KB | v1.4-AEC 仅前端(自适应滤波器,无掩码) |
localvqe-pi-v1-49k-f32.gguf | 2.3 MB | 轻量级系列 — GTCRN-AEC 完整增强(回声 + NS + 去混响) |
localvqe-pi-aec-v1-49k-f32.gguf | 2.3 MB | 轻量级系列 — GTCRN-AEC 仅回声消除(保留噪声与混响) |
localvqe-v1.3-4.8M-f32.gguf | 19 MB | v1.3 联合模型 — 引擎加载的 GGUF |
localvqe-v1.3-4.8M.pt | 55 MB | v1.3 联合模型 — PyTorch 检查点(研究用) |
localvqe-v1.2-1.3M-f32.gguf | 5 MB | v1.2 联合模型 — GGUF |
localvqe-v1.2-1.3M.pt | 11 MB | v1.2 联合模型 — PyTorch 检查点 |
localvqe-v1.1-1.3M-f32.gguf、localvqe-v1-1.3M-f32.gguf | 5 MB | 早期发布版本 |
v1.4-AEC 仅提供 GGUF 格式(无 .pt 文件)。引擎在加载时会对照内置的 SHA256 白名单校验 GGUF 文件完整性。
在ICASSP 2022 AEC Challenge 盲测集(真实录音)上完成了全部 800 条音频的评估。AECMOS echo / deg 的评分范围为 1–5(分数越高表示回声消除越彻底 / 语音越清晰);盲测 ERLE 的计算公式为 10·log10(E[mic²]/E[enh²]),仅在纯远端场景中具有参考意义。未处理麦克风信号的 echo MOS 在五个场景中分别为 2.67 / 2.56 / 1.90 / 2.13 / 5.00。
v1.4-AEC —— 该模型设计上保留了背景噪声与房间混响,因此其 ERLE 和远端 DNSMOS 有意低于联合模型(它不会移除环境声):
| Scenario | n | echo ↑ | deg ↑ | ERLE ↑ | OVRL |
|---|---|---|---|---|---|
| doubletalk | 115 | 4.20 | 2.45 | — | 2.59 |
| doubletalk-with-movement | 185 | 4.19 | 2.45 | — | 2.55 |
| farend-singletalk | 107 | 3.80 | 4.99 | 14.6 dB | 1.37 |
| farend-singletalk-with-movement | 193 | 3.86 | 4.95 | 11.1 dB | 1.31 |
| nearend-singletalk | 200 | 4.99 | 3.99 | — | 3.08 |
v1.4-AEC 2.7K(仅前端模块)—— 以完整模型 1/74 的参数量,在主观远端回声抑制上达到甚至超越完整模型的效果;mask 模块的额外工作体现在上表中更高的 ERLE,而非更高的 echo MOS:
| Scenario | n | echo ↑ | deg ↑ | ERLE ↑ | OVRL |
|---|---|---|---|---|---|
| doubletalk | 115 | 4.00 | 2.79 | — | 2.46 |
| doubletalk-with-movement | 185 | 3.90 | 2.92 | — | 2.42 |
| farend-singletalk | 107 | 4.06 | 5.00 | 6.5 dB | 1.24 |
| farend-singletalk-with-movement | 193 | 4.05 | 4.97 | 3.9 dB | 1.22 |
| nearend-singletalk | 200 | 4.98 | 3.77 | — | 3.03 |
v1.3(联合模型)和 v1.2(联合模型)—— 这两个模型同样会移除背景声,因此其远端 ERLE 远高于 v1.4-AEC,不具备直接可比性:
| Scenario | n | v1.3 echo / deg / ERLE / OVRL | v1.2 echo / deg / ERLE / OVRL |
|---|---|---|---|
| doubletalk | 115 | 4.73 / 2.62 / 8.5 dB / 2.89 | 4.72 / 2.37 / 8.4 dB / 2.83 |
| doubletalk-with-movement | 185 | 4.67 / 2.43 / 8.3 dB / 2.85 | 4.65 / 2.30 / 8.1 dB / 2.79 |
| farend-singletalk | 107 | 3.69 / 4.83 / 50.9 dB / 1.94 | 3.78 / 4.91 / 45.7 dB / 1.80 |
| farend-singletalk-with-movement | 193 | 3.88 / 4.98 / 49.9 dB / 1.96 | 4.12 / 4.96 / 40.6 dB / 1.75 |
| nearend-singletalk | 200 | 5.00 / 4.18 / 2.4 dB / 3.17 | 5.00 / 4.16 / 2.1 dB / 3.17 |
在 Ryzen 9 7900(Zen4)上的每跳 p50 / 实时倍率。采样率 16 kHz,跳长 256 样本。
| 模型 | 单线程 | 4 线程 | dGPU(RTX 5070 Ti,Vulkan) |
|---|---|---|---|
| v1.4-AEC (203 K) | 1.29 ms · 12.2× | 0.83 ms · 18.6× | 在 CPU 上运行¹ |
| v1.4-AEC 2.7K | 0.36 ms · 44×(单线程) | — | 在 CPU 上运行¹ |
| v1.3 (4.8 M) | 9.73 ms · 1.58× | 3.21 ms · 4.97× | 2.57 ms · 6.07× |
| v1.2 (1.3 M) | 4.28 ms · 3.72× | 1.65 ms · 8.90× | 1.96 ms · 7.85× |
¹ v1.4-AEC 的自适应前端始终在 CPU 上运行,且其神经网络阶段体量过小,GPU 卸载无法带来收益。在 Zen4 上,4 线程是所有模型的最优线程数;库默认使用 min(4, available CPUs)。
模型在约 7 MiB 的二进制基线之上额外占用的工作集:
| 模型 | 加载后增量 | 峰值 RSS |
|---|---|---|
| v1.3 (4.8 M) | +24.4 MiB | 34.1 MiB |
| v1.2 (1.3 M) | +10.0 MiB | 19.6 MiB |
| v1.4-AEC (203 K) | +6.7 MiB | 17.0 MiB |
下载一个 GGUF 文件(通过 Web UI、huggingface-cli 或 hf_hub_download),然后使用 GGML CLI 运行——所有模型的命令相同,只需替换文件即可:
./localvqe localvqe-v1.3-4.8M-f32.gguf --in-wav mic.wav ref.wav --out-wav out.wav麦克风和远端参考信号均采用 16 kHz 单声道 PCM 格式。引擎构建、C API(liblocalvqe.so)以及 OBS Studio 插件的详细文档见 GitHub 仓库。
localvqe-v1.3-4.8M.pt 和 localvqe-v1.2-1.3M.pt 是用于生成 GGUF 导出文件的检查点,适用于验证、消融实验和研究,而非终端用户推理(终端用户推理请使用 GGML 版本)。模型定义位于 GitHub 仓库 的 pytorch/ 目录下。
可通过 https://github.com/localai-org/LocalVQE 中的 CITATION.cff 文件引用本仓库(GitHub 的"Cite this repository"按钮可生成 APA / BibTeX 格式),以及上游 DeepVQE 论文:
@inproceedings{indenbom2023deepvqe,
title = {DeepVQE: Real Time Deep Voice Quality Enhancement for Joint
Acoustic Echo Cancellation, Noise Suppression and Dereverberation},
author = {Indenbom, Evgenii and Beltr{\'a}n, Nicolae-C{\u{a}}t{\u{a}}lin
and Chernov, Mykola and Aichner, Robert},
booktitle = {Interspeech}, year = {2023},
doi = {10.21437/Interspeech.2023-2176}
}紧凑的 GTCRN-AEC 系列基于 GTCRN —— 请同时引用:
@inproceedings{rong2024gtcrn,
title = {GTCRN: A Speech Enhancement Model Requiring Ultralow
Computational Resources},
author = {Rong, Xiaobin and Sun, Tianchi and Zhang, Xu and Hu, Yuxiang
and Zhu, Changbao and Lu, Jing},
booktitle = {ICASSP 2024 - 2024 IEEE International Conference on Acoustics,
Speech and Signal Processing (ICASSP)},
pages = {971--975}, year = {2024},
doi = {10.1109/ICASSP48485.2024.10448310}
}模型权重基于 ICASSP 2023 DNS Challenge (Microsoft,CC BY 4.0)进行训练,并在 ICASSP 2022/2023 AEC Challenge 上进行了微调。
训练数据经过 DNSMOS 过滤,该模型可能将情绪激动的语音(如尖叫声、哭泣声)误判为噪声。LocalVQE 可能会衰减此类信号,不得在紧急或安全关键场景中使用。
Apache License 2.0.