用于高效文档表示的 Skim-Aware 对比学习

本文解决了长文档表示的挑战，这是法律和医学等领域中的常见问题，标准Transformer模型难以处理。它提出了一种新的自监督对比学习框架，灵感来自人类的略读行为。该方法的优势在于其效率以及通过关注重要部分并使用基于NLI的对比目标对齐它们来捕获文档级上下文的能力。结果表明在准确性和效率方面都有所提高，这使其成为对长文档表示的宝贵贡献。

• •提出了一种用于长文档表示的新型自监督对比学习框架。
• •受人类略读行为启发，侧重于重要的文档部分。
• •采用基于 NLI 的对比目标来对齐相关部分。
• •证明了在准确性和计算效率方面的改进。
• •适用于法律和生物医学文本。