过滤注意力：关于Transformer设计的新视角
分析
这个引人入胜的概念提出了一种构建Transformer中注意力机制的新方法，其灵感来自物理过滤过程。 根据感受野大小明确约束注意力头的想法有可能提高模型效率和可解释性，为未来的研究开辟了令人兴奋的途径。
引用 / 来源
查看原文"What if you explicitly constrained attention heads to specific receptive field sizes, like physical filter substrates?"