近年来，机器学习领域的国际顶级会议（如ICML）面临着审稿人紧缺的问题，这给会议的评审质量带来了一定的挑战。为了探索解决这一问题的方法，2023年国际机器学习大会（ICML）进行了一项创新的实验。
该实验要求提交多篇论文的作者对自己的论文进行排名，以评估其相对质量。这一举措旨在了解作者对自己工作的认知是否可以作为评审过程的补充，从而提高评审的准确性和效率。
实验结果显示，共有1342位作者参与了排名，涉及2592篇论文。研究人员对这些排名数据进行了深入分析，并提出了一种名为"Isotonic机制"的方法，用于校准原始评审分数，使其与作者提供的排名相一致。
分析结果表明，经过排名校准后的分数在估计真实"预期评审分数"时，无论是在平方误差还是绝对误差方面，都表现得比原始分数更好。这表明作者提供的排名信息确实可以为评审过程提供有价值的参考。
然而，尽管这一实验取得了积极的成果，但也有一些潜在的问题需要考虑。首先，作者的自我评估可能存在一定的主观性，他们可能会高估自己论文的质量。其次，如果作者知道他们的排名将被用于评审过程，他们可能会故意操纵排名以影响结果。
为了解决这些问题，研究人员提出了一些谨慎的、低风险的方法，将Isotonic机制和作者提供的排名应用于评审过程。例如，可以利用这些信息来协助高级领域主席监督领域主席的推荐，支持论文奖项的选择，以及指导紧急评审人的招募。
