VL-RouterBench：ビジョン-言語モデルルーティングのベンチマーク

この論文は、ビジョン-言語モデル（VLM）ルーティングシステムを体系的に評価するための新しいベンチマーク、VL-RouterBenchを紹介しています。標準化されたベンチマークの欠如は、この分野の進歩を妨げてきました。包括的なデータセット、評価プロトコル、およびオープンソースのツールチェーンを提供することにより、著者は、VLMルーティング技術の再現可能な研究と実用的な展開を促進することを目指しています。ベンチマークは、精度、コスト、スループットに焦点を当てており、調和平均ランキングスコアを使用することで、さまざまなルーティング方法と構成を詳細に比較できます。

• •VL-RouterBenchは、VLMルーティングシステムを評価するための新しいベンチマークです。
• •14のデータセット、15のオープンソースモデル、および2つのAPIモデルをカバーしています。
• •評価では、精度、コスト、スループットが考慮されます。
• •再現性を促進するために、オープンソースのツールチェーンがリリースされます。