Transformer 在非参数回归中实现极小极大最优性：理论突破

这项研究揭示了一项重大进展，表明标准 Transformer 可以高精度地逼近 H"older 函数，并在非参数回归中实现了极小极大最优率。 该研究使用大小元组和维度向量对 Transformer 结构进行了新的表征，为未来关于其泛化和优化特性的研究开辟了令人兴奋的途径。 这可能会导致 Transformer 更高效、更强大的应用。