SA-DiffuSeq：用于可扩展长文档生成的稀疏注意力

本文介绍了一种名为SA-DiffuSeq的新型扩散框架，旨在解决长文档生成中的计算挑战。通过集成稀疏注意力，该模型显著降低了计算复杂性和内存开销，使其更易于扩展以处理更长的序列。针对稀疏注意力动态定制的软吸收状态的引入是一项关键创新，可稳定扩散轨迹并提高采样效率。实验结果表明，SA-DiffuSeq在训练效率和采样速度方面均优于现有的扩散基线，尤其是在长序列方面。这项研究表明，将结构化稀疏性融入扩散模型是实现高效且富有表现力的长文本生成的一个有希望的途径，为科学写作和大规模代码生成等应用打开了大门。