语义码本改进神经语音压缩

本文介绍了 SemDAC，一种新型神经音频编解码器，它利用源自 HuBERT 特征的语义码本来提高语音压缩效率和识别准确性。其核心思想是在初始量化阶段优先考虑语义信息（语音内容），从而更有效地使用声学码本，并在比 DAC 等现有方法更低的比特率下实现更好的性能。本文的重要性在于它证明了结合语义理解可以显著增强语音压缩，可能有利于语音识别和低带宽通信等应用。

• •SemDAC 是一种语义感知神经音频编解码器。
• •它使用源自 HuBERT 特征的语义码本。
• •它在较低比特率下，在感知指标和 WER 方面优于 DAC。
• •该方法证明了语义先验在语音压缩中的有效性。