思考ゲシュタルトによる言語モデリングPaper#llm🔬 Research|分析: 2026年1月3日 06:13•公開: 2025年12月31日 18:24•1分で読める•ArXiv分析この論文は、トークンと文レベルの「思考」状態の2つのレベルで言語をモデル化する再帰型TransformerであるThought Gestalt（TG）モデルを紹介しています。標準的なTransformer言語モデルの限界、例えば関係性の理解における脆さやデータ非効率性に対処するために、認知科学から着想を得ています。TGモデルは、よりグローバルに一貫性のある表現を作成することを目指し、パフォーマンスと効率の向上につながります。重要ポイント•新しい言語モデリングアーキテクチャであるThought Gestalt（TG）モデルを提案。•認知科学に触発され、TGはトークンと文レベルで言語をモデル化。•GPT-2と比較して、効率の向上と関係タスクのエラーの削減を実証。•関係性の理解とデータ効率の点で、標準的なTransformerモデルの限界に対処。引用・出典原文を見る"TG consistently improves efficiency over matched GPT-2 runs, among other baselines, with scaling fits indicating GPT-2 requires ~5-8% more data and ~33-42% more parameters to match TG's loss."AArXiv2025年12月31日 18:24* 著作権法第32条に基づく適法な引用です。古い記事AI Clones Your Voice After Listening for 5 Seconds (2018)新しい記事Adobe Firefly: AI Art Generator関連分析Paper選択ポリシーを用いた協調型人型ロボット操作2026年1月3日 06:10Paper未ポーズ画像からの即時3Dシーン編集2026年1月3日 06:10Paper将来予測のためのLLMフォアキャスティング2026年1月3日 06:10原文: ArXiv