VL-RouterBench：视觉-语言模型路由的基准

本文介绍了 VL-RouterBench，这是一个新的基准，旨在系统地评估视觉-语言模型 (VLM) 路由系统。缺乏标准化的基准阻碍了该领域的进展。通过提供一个全面的数据集、评估协议和开源工具链，作者旨在促进 VLM 路由技术的可重复研究和实际部署。该基准侧重于准确性、成本和吞吐量，并使用调和平均排名分数，可以对不同的路由方法和配置进行细致的比较。

• •VL-RouterBench 是一个用于评估 VLM 路由系统的新基准。
• •它涵盖了 14 个数据集、15 个开源模型和 2 个 API 模型。
• •评估考虑了准确性、成本和吞吐量。
• •将发布一个开源工具链以促进可重复性。