GIE-Bench:面向文本引导图像编辑的基于地面的评估
分析
本文介绍了GIE-Bench,这是一个由Apple ML开发的新基准,旨在改进文本引导图像编辑模型的评估。目前的评估方法,依赖于CLIP等图像-文本相似性指标,被认为是不精确的。GIE-Bench旨在通过关注功能正确性来提供更基于地面的评估。这通过自动生成的选择题来实现,这些问题评估了预期的更改是否已成功实施。这种方法代表了在图像编辑中对AI模型进行更准确和可靠评估的重要一步。
引用
“使用自然语言指令编辑图像已成为修改视觉内容的自然而富有表现力的方式;然而,评估此类模型的性能仍然具有挑战性。”