AIエージェントが同じミスを繰り返すなら、まず高価なモデルを探す必要はないかもしれません。NVIDIAのARC-AGI-3の結果が示したのは、モデルの瞬間的な知能よりも、記憶し、検証し、行き詰まれば方向を変える作業システムが、長期タスクの成否を左右するということです。
100点の主役は「より賢いモデル」ではありませんでした
NVIDIAが公開したAVO（Agentic Variation Operators）は、新しい言語モデルではなく、長時間の自律作業のためのエージェントシステムです。主エージェントが状況を調査し、計画を立てて実行した後、結果を評価し、永続メモリとツールがその過程をつなぎます。別の監督エージェントは、探索が停滞したり同じ失敗が繰り返されたりすると、別の戦略へ切り替えます。
試験の舞台はARC-AGI-3でした。ルールや目標が示されない未知の2D環境で、行動の効果を観察し、ゲームの目標を推論し、後半ほど難しくなるレベルを解く対話型推論ベンチマークです。正解を一度出力する問題ではなく、仮説を立てて行動し、誤った仮説を修正していく能力を見ます。
AVOはClaude Opus 5を基盤に、公開セットの25環境・183レベルをすべて完了し、RHAE 100.00を記録しました。RHAEは単純な正答率ではなく、レベルを完了したかどうかと、初回挑戦の人間に対する行動効率をあわせて計算します。100点は、すべてのゲームとレベルを終え、人間基準と同等以上の効率を出したことを意味します。
TechCrunchが注目した数値は、Claude Opus 5の約30%というモデル評価と、AVOシステムの100%との間の差でした。しかし、これを「ハーネスだけで正確に70ポイント上がった」という統制実験として読むべきではありません。NVIDIAも、二つの結果は推論設定、エージェントシステム、評価構成が異なるため、AVO単独の寄与を直接測定した比較ではないと明記しています。
100点はAGI達成の宣言ではありません
今回の結果は問題が公開されている25環境で得られたもので、準公開・非公開の競技セットの結果ではありません。ARC Prize側も、公開環境に合わせたハーネスのスコアを一般知能の進展として解釈しないよう警告しています。公開スコアはハーネスエンジニアリングの経済的価値を示せるかもしれませんが、初見の業務へそのまま一般化できるかは別途検証が必要です。
ハーネスはプロンプトの包装ではなく、作業のオペレーティングシステムです
実務においてハーネスは、モデルの前後に付く薄いコードではありません。どの文脈を渡すか、どのツールを許可するか、結果をどう判定するか、何を次の実行まで保存するかを決める実行レイヤーです。モデルが「何を考えられるか」を担うなら、ハーネスはその能力が長い作業の途中で失われないよう管理します。
| 失敗場面 | モデルだけを替える場合 | ハーネスで直す箇所 |
|---|---|---|
| 実行のたびに最初から調査する | より長いコンテキストのモデルを選ぶ | 仮説・試行・結果を構造化して永続保存する |
| 同じエラーを繰り返す | プロンプトに「注意」を追加する | 失敗シグネチャと再試行制限を実行前に検査する |
| 完了したと言うが結果が誤っている | 自己評価をもう一度求める | テスト・スキーマ・静的解析のような外部判定器を接続する |
| 長い作業で目標から外れる | より強いモデルで再実行する | 独立した監督者が目標・進捗・コストを定期的に確認する |
その第一のレバーは記憶です。OpenAIもARC-AGI-3において、GPT-5.6 Solが過去の推論を保持し、古い記録を捨てる代わりに圧縮するようにすると、公開セットのスコアが13.3%から38.3%に上がり、出力トークンは約6分の1になったと報告しています。過去の行動だけを残して「なぜそのように行動したか」を捨てると、エージェントは毎ターン問題を再解釈することになる、という説明です。
第二は観察の表現です。MITのVISTAは、同じ公開25ゲームで、Claude Opus 5に元の状態を拡大したPNGとして渡し、必要に応じて過去の観察を元の形のまま取り出せる視覚メモリを付けて、RHAE 100を記録しました。一方AVOは画像を使わず、正確な64×64のテキストグリッドを入力しました。両方が成功したことは、唯一の正解となるインターフェースがあるという意味ではなく、モデルが損失なく観察し、必要な過去を再び取り出せるようにする設計が重要だというシグナルです。
第三は監督と検証の分離です。AVOの主エージェントは調査・修正・実行を担い、監督者はより長い探索軌跡における停滞と反復を監視します。モデルに「うまくできているか自分で確認して」と指示するのとは異なり、独立した状態と停止条件を持つ監督レイヤーを置く方式です。ただしNVIDIAの実験は、メモリと監督者の効果をそれぞれ切り分けて測定したアブレーション研究ではないため、監督者一つが100点を生んだと断定はできません。
ベンチマークより重要なのは、私たちの業務の失敗ループです
この結果を製品開発へ移す際の結論は、「すべてのエージェントをマルチエージェントにしよう」ではありません。まず、失敗がモデルの知識不足なのか、記憶喪失なのか、ツールのエラーなのか、完了判定の不在なのかを分解する必要があります。長い業務で最も高くつくエラーは、一度の誤答よりも、誤った状態が次の段階へ静かに伝播することだからです。
実際、52の専門分野にわたる長期文書編集を扱ったDELEGATE-52研究では、19のLLMを試験し、フロンティアモデルであってもタスク終了時には文書内容の平均25%を損傷したと報告しています。ツール利用を追加しただけでは性能は改善せず、文書サイズ、対話の長さ、妨害ファイルが増えるほど損傷は深刻になりました。ツールを接続するだけでは信頼できるエージェントにならないことを示す反例です。
したがって、エージェントの性能表に成功率だけを置くのは不十分です。完了率、人の介入回数、同じ失敗の反復率、検証失敗後の復旧率、完了1件あたりのトークン・時間・コストもあわせて見ましょう。ARC-AGI-3のRHAEも完了と行動効率を同時に測定し、環境を変えない内部推論やツール呼び出しは行動数に含めません。サービスコストまで判断するには、ベンチマークスコアとは別にモデル呼び出し量と実行時間を記録する必要があります。
自社エージェントにハーネス設計を適用する4段階
1. まず失敗再現セットを固定してください
実際の業務で失敗した事例を20～50件集め、入力、期待結果、許容誤差を保存してください。コード作業ならテスト通過率と変更範囲、リサーチなら出典の有効性、データ作業ならスキーマや行数のように、機械的に判定できる基準を付けます。モデル・プロンプト・ハーネスを変えるたびに同じセットを再実行すれば、改善か偶然かを区別できます。
2. メモリを「会話全文」と「作業台帳」に分けてください
会話全体は圧縮可能な参照記録として残し、目標・確定した事実・試したアプローチ・失敗理由・生成ファイル・残作業は、JSONやデータベースレコードのように構造化して別途保存してください。コンテキストが埋まっても、古いメッセージを無造作に削除せず、作業台帳の必須項目が残っていることを確認してから要約します。機密情報や認証情報は台帳に記録しません。
3. 監督者が介入する条件を数値で決めてください
「必要なら助けて」ではなく、同じエラーが2回、進捗のないツール呼び出しが5回、予想コストの80%に到達、テスト失敗が3回のようにトリガーを定めます。監督者には作業を代行させず、現在の仮説、失敗記録、残り予算を読み、継続・戦略変更・人への呼び出し・中止のいずれかを返すようにしてください。
4. モデル交換の前にハーネスのアブレーションテストを行ってください
基本形から、メモリ保持、圧縮、外部検証器、監督者を一つずつ追加し、完了率とコストの変化を記録してください。複数の機能を同時に有効にすると、どの要素が効果を出したのか分かりません。最後にだけモデルを替えて同じテストを繰り返せば、モデル効果とシステム効果を分けて見られます。
さらに深く知りたいなら
NVIDIA AVO Reaches 100% on ARC-AGI-3, Demonstrating a Frontier-Level General-Purpose Architecture for Long-Horizon Autonomous Agents — AVOのメモリ、監督構造、公開セットの結果、比較上の限界をあわせて確認できます。 developer.nvidia.com
ARC-AGI-3: A New Challenge for Frontier Agentic Intelligence — ベンチマークの設計目的と、公開ハーネスのスコアをAGIの進展と解釈すべきでない理由を説明しています。 arxiv.org
ARC-AGI-3 Scoring Methodology — 完了率と人間比の行動効率を組み合わせたRHAEの計算方法を原文で確認できます。 docs.arcprize.org
How enabling two settings tripled our scores on the ARC-AGI-3 benchmark — 推論の保持とコンテキスト圧縮が、スコアとトークン使用量をどう変えたかを示すOpenAIの実験です。 openai.com
VISTA: A Visual Harness for Reasoning in an Interactive World — 視覚入力と、過去の観察を損失なく保持するメモリを使った、もう一つの100点ハーネスを比較できます。 vista-research.github.io
LLMs Corrupt Your Documents When You Delegate — 長期の委任作業でエラーが累積する問題と、ツール接続だけでは解決しない限界を扱っています。 arxiv.org
