MM-UAVBench: 低高度UAV向けMLLMの評価

この論文は、低高度無人航空機（UAV）シナリオにおけるマルチモーダル大規模言語モデル（MLLM）を評価するために設計された新しいベンチマーク、MM-UAVBenchを紹介しています。その重要性は、現在のMLLMベンチマークがUAVアプリケーションの特定の課題を見落としがちな点に対処していることにあります。このベンチマークは、UAVのインテリジェンスに不可欠な知覚、認知、計画に焦点を当てています。この論文の価値は、標準化された評価フレームワークを提供し、この分野における既存のMLLMの限界を浮き彫りにし、将来の研究を導くことにあります。

• •MM-UAVBenchは、低高度UAVシナリオにおけるMLLMを評価するための新しいベンチマークです。
• •このベンチマークは、知覚、認知、および計画能力を評価します。
• •実験により、この分野における現在のMLLMの限界が明らかになりました。
• •このベンチマークは、現実世界のUAVデータを使用し、5,700以上の質問が含まれています。