革新AI评估：新方法改进LLM判断聚合

这项研究介绍了一种开创性的方法，用于聚合来自多个注释者的判断，包括使用大型语言模型（LLM）作为判断者的前沿方法。 该研究侧重于基于Ising图模型的依赖感知模型，有望显着提高AI评估过程的准确性和可靠性。

• •该方法利用Ising模型来考虑注释者之间的依赖关系，从而实现更准确的标签聚合。
• •它解决了假设注释者独立的传统方法的局限性。
• •与经典基线相比，这种新方法已在真实世界的数据集中展示了改进的性能。