实时语音降噪技术解析

23 阅读2分钟

技术原理概述

PercepNet是某中心Chime语音焦点功能的核心技术,专门用于实时抑制语音信号中的噪声和混响。该技术在Interspeech 2020深度噪声抑制挑战赛中,以仅占用4%CPU核心资源的优势获得实时处理类别第二名。

信号处理基础

短时傅里叶变换的局限

传统方法采用短时傅里叶变换将信号分解为400个频率区间,但直接估计所有区间的幅度和相位计算量巨大。实验显示,即使使用理想幅度估计器,仅采用噪声相位重建的语音仍存在明显粗糙感。

感知优化表示

基于人耳听觉特性,技术方案采用等效矩形带宽划分的34个频带代替400个频率区间:

  • 频带宽度随频率增加而扩大,模拟人耳听觉分辨率
  • 每个频带包含多个STFT区间,实现频谱平滑
  • 大幅降低模型复杂度至原来的8.5%

核心技术突破

梳状滤波技术

针对语音中的谐波成分(如元音),采用基于基音周期的梳状滤波器:

  • 通过自相关算法估计基音频率
  • 使用维特比算法确保基音轨迹时序一致性
  • 在频域实现谐波与噪声的精确混合控制

后滤波处理

借鉴1980年代语音编解码器技术,对残留噪声频带进行选择性衰减,利用听觉掩蔽效应提升主观听感。

深度学习集成

轻量化网络设计

  • 采用门控循环单元处理时序依赖
  • 仅需估计34个频带增益和34个滤波强度参数
  • 800万权重使用8位量化,通过SIMD指令优化

实时性能表现

  • 20毫秒帧长配合50%重叠,适应标准音频编解码器
  • 包含20毫秒前瞻缓冲,总延迟控制在30毫秒内
  • 现代笔记本电脑CPU占用率低于5%

应用前景

该技术框架可扩展应用于声学回声控制、波束成形后处理等场景,支持WebAssembly在浏览器端部署,适用于WebRTC实时通信应用。