GQ-VAE：用于学习可变长度标记的新型分词器

本文介绍了 GQ-VAE，这是一种用于学习神经分词的新型架构，旨在取代 BPE 等现有分词器。其主要优势在于能够学习可变长度的离散标记，这有可能在不改变底层语言模型架构的情况下提高压缩和语言建模性能。本文的重要性在于它可以通过提供现有分词器的即插即用替代方案来提高语言模型的效率和性能，尤其是在大规模应用中。

• •提出了 GQ-VAE，一种用于学习神经分词的新型架构。
• •GQ-VAE 学习可变长度的离散标记。
• •与 VQ-VAE 相比，提高了压缩和语言建模性能。
• •在压缩和语言建模方面接近 BPE 的性能。
• •提供现有分词器的即插即用替代方案。