まだ公開されていない論文が1本あります。著者たちは何か月もその研究課題に取り組んできましたが、答えはまだウェブのどこにもありません。その課題だけを切り出してAIエージェントに渡し、終わったら、その論文の原著者が学会の査読者のように採点します。
プリンストン大学のPeter Kirgis、Sayash Kapoor、Arvind Narayananをはじめ、英国AIセキュリティ研究所、トロント大学、カリフォルニア大学バークレー校、ジョージタウン大学が共同で行った評価です。著者たちはこの方式を「シャドー評価（shadow evaluation）」と呼んでいます。ベンチマークでは正解が決まった狭い課題しか測れず、AIが書いた論文を学会の査読に出す方法では、査読そのもののばらつきが大きいからです。まだ世の中に答えのない問いと、その問いを誰よりもよく知る採点者を、同時に確保すること。それがこの方式の狙いです。
エージェントに与えられたもの
未公開のNeurIPS 2026投稿論文2本から、それぞれ1つずつ取り出した中心的な研究課題。実時間で6日間。AnthropicのAPIクレジット3,000ドル。GPUクレジット。仮想マシンと、オープンなウェブ全体。目標は、トップクラスのAI学会に出せる論文を書くことでした。計算資源の予算は、この問いに答えるのに足りると原著者が見積もった量に合わせて決めています。
評価を設計した側の12人に、エージェントがどこでつまずくかを先に聞きました
この評価を設計した研究者は24人います。実験を始める前に、そのうち12人に予測を尋ねました。AI研究、評価、AI政策に携わる人たちです。エージェントが原著者から、学会の査読基準でWeak Accept（採択寄りのボーダーライン）以上の評価を得る確率を聞くと、2人が10%以下、5人が20〜30%、4人が40〜60%、1人が95%と答えました。
さらに目を引くのは次の質問です。失敗するとしたら直接の原因は何かと尋ねると、7人が創造性と判断を挙げました。実行を挙げたのは1人だけでした。
ひとりで組版まで仕上げてきたのに、2本とも不採択でした
12人のうち11人が通過の確率を60%以下と見ていて、その見立ては当たりました。ただし大事なのは、どこでつまずいたかです。
エージェントは大規模な文献調査をこなし、GPU環境のエラーを自分で直し、実験と検証を数百件回し、ウェブとメールで外部のレビューを取ってきて、学会提出用の最終原稿を組版まで仕上げました。人が手を出したのは、リポジトリを作って認証情報を入れたくらいです。
そして、2本とも不採択になりました。各論文は、その論文の原著者1人が採点しています。2人の採点をまとめると、次のようになります。
| 項目 | 2本の論文の点数 | 採点者が挙げた理由 |
|---|---|---|
| 品質 | 4点満点で論文1は2点、論文2は1点 | データと実験の選び方に筋が通っておらず、結論が根拠から導かれていない |
| 明瞭さ | 4点満点で論文1は1点、論文2は2点 | 詰め込みすぎで不明瞭な文章。何が重要なのかがわかりにくい |
| 重要性 | 4点満点で2本とも2点 | 関心を引きそうな範囲が狭く、先行研究に対する意義づけが足りない |
| 独創性 | 4点満点で論文1は3点、論文2は2点 | 新しいデータセットと一部新しい手法はあるが、大半は先行研究の上に積み上げたもの |
| 総合 | 6点満点で論文1は2点、論文2は1点 | 2本とも異論なく不採択 |
| 採点者の確信度 | 5点満点で論文1は4点、論文2は5点 | 2人の採点者とも、自分の判断に自信がある、または確信している |
6項目のうち独創性の点数がいちばん高かったことが、どこで落ちたのかを物語っています。アイデアではなく、その先です。原著者2人はどちらも、エージェントが最初に出した仮説を妥当で興味深いと評価し、自分たちが初期に試したアプローチに似ていると書いています。出だしは悪くなかったのです。
エージェントが繰り返した失敗は5つありました
研究チームは実行ログをすべて読み、繰り返し現れた失敗を5つに整理しました。
別のモデルと別のツールで回し直しても、同じところで失敗しました
この種の実験には、決まってつきまとう反論があります。悪かったのはモデルではなく、エージェントを動かすツールのほうではないか、という反論です。研究チームはメインの実験をOpenClaw上のOpus 4.8で行い、同じ時間と予算で1本をCodexとGPT-5.6 Sol Ultraで回し直しました。5つの失敗は、ほぼそのまま再び現れました。
回し直しでよくなった点もありました。このときのエージェントは合成データだけに頼らず、実際の分布の変化を含むデータセットを探して使いました。仮説を事前に登録し、結果が悪く出ても、よい結果をでっち上げずに否定的な結果をそのまま報告しています。その代わり、3,000ドルを2日あまりで使い切り、100時間近くを残しました。
限界もはっきりしています。論文2本、実行5回です。数十の課題を回すベンチマークと比べれば少なく、研究チームもこれを1つ目の限界として挙げています。採点者が誰の書いた論文かを知ったうえで採点した点も、認めています。原著者は、自分が選んだアプローチをひいきするかもしれないという偏りです。そのため研究チームは、専門家のレビュー、実行ログ、リポジトリをすべて公開し、ほかの専門家の判断を求めました。また、Anthropicがフロンティア領域のAI研究開発能力を意図的に制限している最新モデルは、試せていません。
解釈をめぐっては、共著者のあいだでも意見が割れました。観察された失敗が創造性の不足なのか、判断の不足なのか、1つの見方にとらわれたせいなのか。意見が分かれたのは、そもそもこれらの概念の意味に合意がなかったからです。意見が割れなかったのは、その失敗が実験を回す能力のせいではない、という点でした。
どちらも残りの予算を見ていたのに、あるモデルはお金を残し、別のモデルは時間を残しました
Opus 4.8で回した2回の実行は、APIの予算を半分も使わずに終わりました。そのうち1回は、自分のレビュアーにまた不採択を返された直後、締め切りまで7時間を残してプロジェクトの完了を宣言しています。GPT-5.6 Sol Ultraで回し直した実行は逆でした。3,000ドルを2日あまりで使い切り、100時間近くを残したのです。
メイン実験のエージェントは、残りのトークンと時間をいつでも見られ、実際によく見ていました。AIレビューツールは、専門家があとから指摘した問題をほぼそのまま先に指摘していましたし、別のアプローチでやり直すための道具もありました。見られるものは、すべて見えていたのです。
足りなかったのは、残りの予算と受けた指摘に合わせて計画を変えるという決断でした。
