使用稀疏Transformer的生成模型
分析
这篇文章宣布了 OpenAI 开发的新的深度神经网络，Sparse Transformer。 关键创新是对注意力机制的改进，使其能够处理比以前的模型长得多的序列（30 倍）。 这表明在处理文本、图像和声音等数据中的复杂模式方面取得了进展。
要点
引用 / 来源
查看原文"We’ve developed the Sparse Transformer, a deep neural network which sets new records at predicting what comes next in a sequence—whether text, images, or sound. It uses an algorithmic improvement of the attention mechanism to extract patterns from sequences 30x longer than possible previously."