大規模言語モデルと教育的行動：教育的談話におけるベースライン研究

このArXiv NLP論文は、教室のトランスクリプトにおける教育的行動の分類における大規模言語モデル（LLM）のベースラインパフォーマンスを調査しています。この研究は、実際の教育現場におけるLLMの初期設定の能力を理解する上で重要なギャップを強調しています。この研究では、ゼロショット、ワンショット、フューショットのプロンプト方法を使用して、6つのLLMを比較しています。調査結果は、ゼロショットのパフォーマンスは中程度ですが、フューショットのプロンプトはパフォーマンスを大幅に向上させることを明らかにしていますが、改善はすべての教育的行動にわたって均一ではありません。この研究は、教育的コンテキストでの基盤モデルの使用の可能性と限界を強調し、パフォーマンスの変動性と再現率と精度との間のトレードオフを慎重に検討する必要性を強調しています。この研究は、教育アプリケーションにLLMを検討している教育者や開発者にとって価値があります。

• •LLMは教育的行動の分類に可能性を示している。
• •フューショットプロンプトは、教育的コンテキストにおけるLLMのパフォーマンスを向上させる。
• •パフォーマンスは、特定の教育的行動によって大きく異なる。