PragWorld: 最小限の言語的変更と会話のダイナミクス下でのLLMのローカル世界モデル評価

この研究は、大規模言語モデル（LLM）のローカル世界モデルの理解度を評価するために特別に設計された新しいベンチマーク、PragWorldを紹介します。 最小限の言語的変更と会話のダイナミクスに焦点を当てることで、LLMの能力を調査するための貴重なアプローチが提供されます。

• •PragWorldは、LLMのローカル環境の理解度を評価するための特別なベンチマークを提供します。
• •最小限の言語的変更を使用することで、世界モデルの能力に焦点を当てた評価が可能になります。
• •会話のダイナミクスを含めることで、評価に現実性と複雑さが加わります。