Idea-Gated Transformers：通过可微分词汇修剪实现语义一致性

本文介绍了一种新颖的方法来提高Transformer模型的语义一致性。核心思想是在生成过程中动态地修剪词汇表，基于“想法”或上下文关注相关单词。这通过可微分的词汇修剪来实现，允许端到端的训练。这种方法可能旨在解决生成文本中重复和缺乏重点的问题。“idea-gating”的使用表明了一种控制考虑哪些单词的机制，可能提高了输出的质量和相关性。

• •介绍了一种提高Transformer模型语义一致性的方法。
• •采用可微分词汇修剪。
• •使用“idea-gating”机制来控制单词选择。