反事实LLM框架衡量ML论文中的修辞风格

本文介绍了一种量化机器学习论文中修辞风格的新框架，解决了区分真实经验结果和单纯炒作的难题。使用LLM进行反事实生成是创新的，可以对应用于相同内容的不同修辞风格进行受控比较。对ICLR提交的大规模分析提供了关于修辞框架的流行和影响的宝贵见解，特别是远见框架可以预测下游关注的发现。观察到2023年后修辞强度增加，这与LLM写作辅助相关，提出了关于人工智能时代科学交流不断发展的性质的重要问题。通过稳健性检查和与人类判断的相关性对框架的验证增强了其可信度。

• •LLM可用于量化研究论文中的修辞风格。
• •修辞框架，特别是远见框架，会影响论文获得的关注。
• •LLM写作辅助工具的使用与论文中修辞强度的增加相关。