VL-RouterBench:视觉-语言模型路由的基准

Research Paper#Vision-Language Models, Routing, Benchmarking🔬 Research|分析: 2026年1月3日 16:03
发布: 2025年12月29日 16:01
1分で読める
ArXiv

分析

本文介绍了 VL-RouterBench,这是一个新的基准,旨在系统地评估视觉-语言模型 (VLM) 路由系统。缺乏标准化的基准阻碍了该领域的进展。通过提供一个全面的数据集、评估协议和开源工具链,作者旨在促进 VLM 路由技术的可重复研究和实际部署。该基准侧重于准确性、成本和吞吐量,并使用调和平均排名分数,可以对不同的路由方法和配置进行细致的比较。
引用 / 来源
查看原文
"The evaluation protocol jointly measures average accuracy, average cost, and throughput, and builds a ranking score from the harmonic mean of normalized cost and accuracy to enable comparison across router configurations and cost budgets."
A
ArXiv2025年12月29日 16:01
* 根据版权法第32条进行合法引用。