コンテキストウィンドウは依然として大きな障害、進展は停滞

このRedditのr/singularityからの記事は、大規模言語モデル（LLM）におけるコンテキストウィンドウの制限という根強い課題を浮き彫りにしています。著者は、トークン制限の進歩（例えば、Geminiの100万トークン）にもかかわらず、パフォーマンスが大幅に低下しない実際に使用可能なコンテキストウィンドウは比較的小さい（数十万トークン）ままであると指摘しています。この制限は、複雑なタスクでは大量の情報を処理する必要があるため、AIが知識労働者を効果的に代替する能力を妨げています。著者は、将来のモデルが大幅に大きなコンテキストウィンドウ（数十億または数兆トークン）を達成できるかどうか、またそのような進歩なしにAGIが可能かどうかを疑問視しています。この投稿は、この重要な分野における進歩の遅さに関するAIコミュニティ内の共通の不満を反映しています。