ReviewMap：映射同行评审评论中的评价行为与自动化边界

同行评审意见检验论文做了什么，并判断其为何重要，但现有方案没有区分这两种评价行为。我们认为，明确这两种行为并测量 LLM 识别它们的可靠性，是负责任地开展 LLM 辅助评审分析的前提：人类需要审视评审判断及其依据。这为 NLP 在同行评审中界定了比完全自动化更诚实的使命。我们提出 ReviewMap，一个将每条意见分类为对主张与学术标准的评估，或对贡献价值与会议匹配度的校准的框架，并按行为类型有条件地应用更细粒度的属性。通过多模型 LLM 共识应用于 500 篇 ICLR~2026 论文，行为层在操作指南下被证明可可靠自动化（模型间 $\kappa \geq 0.75$），并得到对 470 条开发意见的五人验证支持；而属性层需要人工监督，界定了一条经过测量的自动化边界。在语料层面，17% 的评审者-论文实例不含小组编码的校准，且小组编码的校准占比在 Strengths 中几乎是 Weaknesses 中的 $3\times$。这一边界为三种用途提供依据：一份为评审者将“先评估后校准”工作流操作化的评审指南、一个面向作者的逐条意见反驳策略支架，以及一个面向领域主席的讨论阶段仪表盘。

中文由 AI 翻译，仅供参考，以原文为准。