语言模型概率中的上下文简化

发布:2025年12月29日 18:12
1分で読める
ArXiv

分析

本文研究了在语言模型中观察概率降低所需的最小上下文,这是一个与认知科学相关的现象。它挑战了需要完整话语的假设,表明n-gram表示就足够了。这对于理解语言模型与人类认知过程的关系具有重要意义,并可能导致更有效的模型分析。

引用

n-gram表示作为规划的认知单元就足够了。