AI 评审论文：接受度逐步提升
不同的人对 AI 评审论文是否靠谱有不同答案，但人们对 AI 评审的接受度正慢慢提升，一些顶级会议在巨大论文投稿量压力下开始推进此事。例如，ICML 2026 放宽了 AI 评审要求，不过还不允许完全由 AI 执行评审。前两天，AAAI 2026 也进行了尝试，其 Main Technical Track 接收近 3 万篇投稿，评审工程量大。AAAI 官方联合多所大学和研究机构开展试点研究，为 AAAI - 26 会议的每一篇 main - track 投稿生成了 AI 评审结果，且 AI 的整体表现已胜过人类。
当前 AI 领域评审难题
随着 AI 技术飞速演进，传统科学同行评审制度面临前所未有的负荷，顶尖学术殿堂投稿数量激增，而评审机制却进展缓慢，依赖人类专家无偿投入大量时间和心血。在审稿人资源紧缺、资深学者分身乏术的情况下，维持论文评审的高质量、评判标准统一性和结果时效性愈发困难。为应对 AAAI 2026 的海量投稿，大会组委会招募了超 28000 名程序委员会成员，规模达上一届会议的三倍。
史无前例的大规模部署
在亟需破局之时，AAAI 2026 AI 评审试点项目登场。其长篇报告披露了在真实顶级学术会议高压环境中，利用前沿 LLM 对 22977 篇进入全面评审阶段的论文进行 AI 审查。这是学术界历史上第一次在大型会议严苛的真实双盲投稿流程中，直接引入且官方部署的 AI 生成式评审体系。进入 AAAI 2026 评审第一阶段的 22977 篇主流赛道论文的作者和评委，都会收到带有明确 AI 标识的评审意见。会议组委会确立红线，引入 AI 只为流程提供附加输入，不取代人类专家审稿资格，AI 生成文档不包含具体评分数值和硬性推荐判定。高级程序委员会成员和领域主席做裁决时，鼓励将 AI 挖掘的问题与人类专家意见相互印证。该 AI 平台效率高、成本低，平摊到每篇论文的计算成本不到 1 美元，OpenAI 为项目无偿提供 API 资源赞助，利用 GPT - 5 模型引擎，底层系统不到 24 小时就处理完两万多篇论文。
AAAI - 26 AI 评审系统架构解析
早期对比研究表明，简单让大模型处理长篇学术文档，得到的结果往往不佳。研发团队构建了复杂的 LLM 工业级流水线，系统前置节点对 PDF 稿件进行标准化预处理，引入 olmOCR 将 PDF 转换为 Markdown 文件。AI 评审系统在五个核心科学审查舱同时运作，包括故事脉络审视、表达与结构扫描、实验评估核对、正确性推演、意义与行业定位。完成五大考验后，系统将见解重组生成初始审稿草稿，接着启动「自我反省批判」模块，大模型重写并输出最终定稿的 AI 评审报告。所有底层对话日志等均被留存，报告推送前还有基于 GPT - 4o - mini 的质量过滤网进行筛查。
六项关键对比：AI 击败人类
为探明试点实际效用，研究团队向会议利益相关方下发追踪问卷，回收 5834 份反馈数据。问卷有九大衡量评审质量的标准，受访者在 5 分制李克特量表上评判。统计图表显示，AI 评审在九个维度中的六个维度均分超越人类学者撰写的报告，论文作者群体对 AI 审查结果更偏爱。AI 在精准锁定深层技术性错误、抛出重要反证、提供改进指南、输出建设性技术意见、报告详尽彻底程度等方面优势明显。不过，机器也并非完美，在放大细枝末节、写出技术漏洞审稿词、给出无执行价值建议等方面存在不足。最终，53.9% 的受访者认为 AI 在审稿中有益，61.5% 的从业者期待未来让 AI 继续参与同行评审，55.6% 的参与者认为机器技术穿透力超出预期。
舆情聚类洞察：优势与痛点并存
研究组对 320 份纯文本主观感言进行自然语言聚类解析，提炼出学界对全面引入 AI 的五条赞誉和五大诟病。赞誉包括直击痛点的修改方略、惊人的阅读广度与细致度、技术漏洞捕获器、冰冷的绝对客观、语法与版式优化；诟病包括宏观格局与科学嗅觉缺失、钻牛角尖与吹毛求疵、信息量溢出、灾难性的事实误读、浅尝辄止的领域底蕴。一位匿名研究者认为 AI 彻底但缺乏直觉，建议把文献海选等工作交给机器，让人类评委专注品鉴论文灵魂和影响力。团队抽查 100 份 AI 生成报告，证实大部分引用真实存在，戳破了 AI 产生引用幻觉的传闻。
创立 SPECS 基准：验证系统优势
为证明多引擎流水线优于普通做法，专家组打造了 SPECS 科研测谎基准。团队参考 FLAWS 思路，对 AAAI 2025 优秀论文注入「隐性学术癌细胞」，让通用大模型和 AAAI 2026 多阶段 AI 系统进行审稿。结果显示，通用基线模型平均召回率低，而 AAAI 2026 系统查错效能提升明显，尤其在拆穿「虚假的故事线」和挖出「实验评估漏报」方面表现突出，证明高能工作流能逼出 LLM 的科学推理极限。
结语：AI 与人类智慧融合
通读 AAAI 2026 AI 评审试点总结可知，利用多模态大模型矩阵协管科学文献评审技术上可行，能带来杠杆效应。但也有学者警告，AI 过度渗透会腐蚀同行评审制度的人性温度和学界信任契约，还可能导致评审委员学术嗅觉退化、论文作者谄媚 AI 偏好，甚至让主席做出错误裁决。不过，问卷数据和开发者日志表明，机器硅基心智与人类碳基智慧未来将更加密不可分。最后一问：你的 AAAI 2026 论文收到了怎样的 AI 评审？
