RAIR：用于电商相关性评估的新基准

本文介绍了RAIR，一个用于评估电子商务搜索结果相关性的新基准数据集。它通过提供更复杂和全面的评估框架来解决现有基准的局限性，包括长尾子集和视觉显著性子集。本文的重要性在于它有可能标准化相关性评估，并为电子商务领域的LLM和VLM提供更具挑战性的测试平台。标准化框架的创建和视觉元素的加入尤其值得关注。

• •RAIR是一个用于电子商务相关性评估的新的中文数据集。
• •它包括一个通用子集、一个长尾子集和一个视觉显著性子集。
• •RAIR旨在标准化相关性评估并提供更具挑战性的基准。
• •实验表明，RAIR即使对GPT-5等最先进的模型也具有挑战性。