2025年回顧：LLMが解決できない問題を静かに解決する古いNLP手法

この記事は、大規模言語モデル（LLM）の限界に対処するために、トランスフォーマー以前のNLP技術が再浮上していることを強調しています。かつて時代遅れと考えられていた隠れマルコフモデル（HMM）、ビタビアルゴリズム、n-gramスムージングなどの手法が、LLMが苦手とする問題、特に制約付きデコーディング、状態圧縮、言語的バリエーションの処理などの分野で再検討されていると主張しています。著者は、Mamba/S4などの最新技術と連続HMM、モデルマージとn-gramスムージングの間に類似点を描いています。この記事は、LLMの「ギザギザの知能」の問題、つまり、ある分野では優れているが、別の分野では予測不可能に失敗するという問題に取り組むために、これらの古い手法を理解することの重要性を強調しています。