S$^3$IT: 空間的に位置づけられた社会的知能テストのベンチマーク

この論文では、AIエージェントにおける具体化された社会的知能を評価するために設計された新しいベンチマークであるS$^3$ITを紹介しています。このベンチマークは、3D環境内での座席配置タスクに焦点を当てており、エージェントはLLM駆動のNPCの座席を配置する際に、社会的規範と物理的制約の両方を考慮する必要があります。主な革新は、既存の評価方法のギャップである、社会的推論と物理的タスクの実行を統合するエージェントの能力を評価できることです。多様なシナリオの手続き型生成と、好みを獲得するためのアクティブな対話の統合により、これは挑戦的で関連性の高いベンチマークとなっています。この論文は、この分野における現在のLLMの限界を強調し、具体化されたエージェント内での空間的知能と社会的推論に関するさらなる研究の必要性を示唆しています。人間のベースラインとの比較は、パフォーマンスのギャップをさらに強調しています。