运用 BERT 对 ICLR 论文数据进行分析,将论文分为亮点论文、口头报告论文、海报展示论文和被拒稿论文 4 类,并
基于论文得分、评审模式、自信度得分 3 个维度对评审意见质量进行分析,其研究结果表明:在开放同行评议背景下,大多数评审意见都具有高度建设性的特征,但这一特征在不同类型的论文中存在差异;与单盲评审模式相比,双盲评审模式下的评审意见更具建设性;相对于高自信度评审专家,低自信度专家提供的评审意见质量较低;在许多低分论文中,评审专家未能提供具有建设性的评审意见。基于此,推动同行评议改革发展应推动开放同行评议,以提升评审透明度和学术交流质量;加强对专家评审的管理并引入激励机制,以提升评审意见质量;推动双盲审模式,促使评审者更加客观公正地评价论文质量。