AI 智能体独自写完了整篇论文，卡住它的不是实验，而是判断

有一篇论文还没有公开。作者们为它的研究问题琢磨了好几个月，答案在网上还找不到。只把这个问题单独拿出来交给 AI 智能体，等它做完，再由这篇论文的原作者像学术会议审稿人一样打分。

这项评估由普林斯顿大学的 Peter Kirgis、Sayash Kapoor、Arvind Narayanan 等人，与英国人工智能安全研究所、多伦多大学、加州大学伯克利分校、乔治城大学共同完成。作者们把这种方法叫作“影子评估”（shadow evaluation）。原因在于，基准测试只能考察有标准答案的狭窄任务，而把 AI 写的论文投去会议审稿，审稿结果本身又忽高忽低。这种方法要同时拿到两样东西：一个世上还没有答案的问题，和一位最懂这个问题的打分人。 arxiv

先问了参与设计评估的 12 个人：智能体会卡在哪里

设计这项评估的研究者共有 24 人。实验开始前，研究团队请其中 12 人做了预测，他们从事 AI 研究、评估和 AI 政策工作。问到智能体按会议审稿标准、从原作者那里拿到 Weak Accept（弱接收）及以上评价的概率，2 人答 10% 以下，5 人答 20%～30%，4 人答 40%～60%，1 人答 95%。

更值得注意的是下一个问题。问到如果失败，直接原因会是什么，7 人选了创造力和判断力，选执行能力的只有 1 人。 arxiv

它独自完成到排版，两篇却都被拒了

12 人里有 11 人认为通过的概率不超过 60%，这一判断是对的。但关键在于，它卡在了哪里。

智能体做了大规模文献调研，自己修好了 GPU 环境的报错，跑了几百次实验和验证，还通过网页和邮件拿到了外部评审意见，最后把投稿用的终稿一直做到排版完成。人工介入的部分，只有建代码仓库、填入访问凭证这类事。 arxiv

结果两篇都被拒了。每篇论文由该论文的一位原作者打分。两份评分合起来如下。

六个项目里原创性得分最高，这恰好说明它是在哪里掉队的：不是想法，而是想法之后。两位原作者都认为，智能体最初提出的假设合理又有意思，还写道这和他们自己早期尝试的思路很像。开局并不差。 arxiv

智能体反复犯的错，有五种

研究团队读完全部运行日志，把反复出现的失败归纳成五种。

换一个模型、换一套工具重跑，还是在同样的地方失败

这类实验总会招来同一个质疑：问题不在模型，而在驱动智能体的工具。研究团队的主实验用的是跑在 OpenClaw 上的 Opus 4.8，之后又用相同的时间和预算，拿 Codex 和 GPT-5.6 Sol Ultra 把其中一篇重跑了一遍。五种失败几乎原样重现。 arxiv

重跑中也有进步。这次的智能体没有只用合成数据，而是找来了带有真实分布偏移的数据集。它预先登记了假设，结果不理想时也没有编造好结果，而是如实报告了负面结果。代价是，3,000 美元两天多就花光了，剩下将近 100 小时没用上。 arxiv

局限也很明显：两篇论文，五次运行。和动辄跑几十个任务的基准测试相比，数量很少，研究团队把这一点列为第一条局限。他们也承认，打分人在打分时知道论文出自谁手。原作者可能偏爱自己当初选的思路，这是一种偏差。因此，研究团队公开了全部专家评审、运行日志和代码仓库，请其他专家来判断。此外，Anthropic 有意限制了其最新模型在前沿 AI 研发上的能力，这款模型这次没能测试。 arxiv

在解读上，合著者之间也有分歧。观察到的失败究竟是缺乏创造力、缺乏判断力，还是困在了单一视角里，大家意见不一；而之所以意见不一，是因为对这些概念的含义本身就没有共识。没有分歧的一点是：这些失败并非源于跑实验的能力。 arxiv

同样盯着剩余预算，一个模型剩下了钱，另一个模型剩下了时间

用 Opus 4.8 跑的两次运行，结束时 API 预算都没用到一半。其中一次，在自己的评审又给出拒稿意见之后，它在距截止还有 7 小时的时候宣布项目完成。用 GPT-5.6 Sol Ultra 重跑的那次正好相反：3,000 美元两天多就花光，剩下将近 100 小时。 arxiv

主实验中的智能体随时能看到剩余的 token 和时间，实际上也经常看。AI 评审工具几乎抢先指出了专家后来指出的问题，换条路重来的工具也都在手边。能看到的，它全都看到了。 arxiv

它缺的，是根据剩余预算和收到的批评去修改计划的那个决定。

🔗

深入了解

论文原文

影子评估的设计、两篇论文的研究问题、原作者评审全文、五种失败在日志中的依据，以及作者列出的局限，都可以在这里找到