AIエージェントがコンピュータ操作ベンチマークで人間(72%)を超えたそうです。85%。
でも同じ名前のベンチマークの、もっと難しいバージョンでは20.6%しか出ませんでした。
数字は嘘をついていません。私たちが条件を聞かなかっただけなんです。
みんなこう信じてます
先週a16zが出したレポートのタイトルからして確信に満ちてました。「Can Agents Use a Computer Yet? We've Got the Data.」結論もはっきりしてました。もう実現したというんです。
2年前は最高性能モデルでもOSWorld-Verifiedで12%でした。今はClaude Fable 5が85%まで上がって、人間の基準値(72%)を超えたんです。a16zのSerafini、Amble、Zhouはここにコスト計算まで加えました。コンピュータを操作するAIエージェントは時給6〜8ドルで動くのに、インドのBPO人材は時給10ドル、アメリカのバックオフィス人材は時給20.59ドルに福利厚生を加えると30〜45ドルかかるというんです。
実際の導入事例もありました。あるCPGデータプラットフォームは月1,500万〜2,100万件のポータル操作をエージェントが処理中で、あるグローバルSI企業は27個のワークフローで1日1,500〜2,100件のITチケットを自動処理しているそうです。ここまで来ると「うちも導入すべきかな」と思ってしまいますよね。
でも数字は半分だけの話でした
同じ時期、同じ名前のベンチマークから全く違う数字が出てきました。OSWorldを作ったXLang Labが2026年上半期にOSWorld 2.0を公開したんですが、ここでは最高性能のエージェントでも20.6%しか完了できませんでした。
なぜこんなに差が出るんでしょう。OSWorld 2.0は「熟練した人間が平均1.6時間かかる実際の業務」108個で構成されてます。研究、コンテンツ制作、ソフトウェア開発、ビジネス・金融など7分野をカバーしていて、タスクごとに平均27.25個のチェックポイントで部分点を出してるんです。一方、元のOSWorld(1.0)はもっと短くて自己完結的な作業が中心でした。
「この2つの数字のギャップが、この分野で最も重要な事実だ。」
— Adnan Masood, AIリサーチャー
開発者ブログyoungju.devはこれをもっと具体的に指摘してます。同じモデルが同じベンチマークで83.5% vs 20.6%、63ポイントもの差が出る理由は、モデルが急に悪くなったわけじゃなくて測定方法が違うからだというんです。短くて自己完結的な作業なら80%台が出て、実際の業務のような長いワークフローだと20%台まで落ちる。しかもタスクの約45%はGUI操作じゃなくターミナル・スクリプト実行で処理された結果で、「コンピュータ操作能力」という言葉自体がGUI操作・スクリプティング・推論が混ざったものを指してると指摘してます。ちなみにOpenAIのOperatorは元のOSWorldで38%を記録してて、「多くのタスク分類でほぼランダムなレベル」という評価を受けました。
ベンチマークの数字、こうやって作られてます
同じ「OSWorld」という名前の中に、短い作業バージョン(1.0)と1.6時間かかる実業務バージョン(2.0)が両方あります。ステップ予算・リトライ回数・評価バージョンを明示してない数字は、そもそも比較できません。
じゃあ何を信じればいいの?
実はa16zのレポートを読み直すと、著者たちもこの落とし穴に気づいてました。彼らが強調したのは「AIがもうコンピュータを万能に使える」じゃなくて、「標準化された繰り返し可能な作業でコンピュータ操作エージェントが最も強い」という、もっと狭い主張だったんです。実際の導入事例として挙げてたのも、CRM更新、ITチケット分類、政府・保険ポータルへのログインみたいな、完了条件がはっきりした業務ばかりでした。15%の失敗率があっても、人間が受け止めるエスカレーション経路があれば、24時間365日の処理量でカバーできる領域なんです。
つまり「85%」と「20.6%」は違う質問への答えなんです。自分の業務がどっちに当たるかをまず見極めましょう。
| オープンエンドな業務 | 構造化・繰り返し業務 | |
|---|---|---|
| 例 | オープンエンドなリサーチ、判断が必要な業務、例外処理の多い業務 | CRMデータ入力、ITチケット分類、ポータルログイン・入力 |
| 完了条件 | 毎回判断が必要 | 明確で繰り返し可能 |
| ベンチマーク根拠 | OSWorld 2.0基準で約20.6% | OSWorld-Verified基準で約85% |
| 現状 | 人間が主導すべき | すでに本番導入事例がある |
ベンダーのピッチを受けたら確認すること
- まずベンチマークのバージョンを聞く
「OSWorldやりました」だけでは不十分です。1.0か2.0か、平均どれくらいの長さのタスクでテストしたか確認しましょう。 - ステップ予算・リトライ回数を確認する
何回リトライを許したか、失敗時に人間が何回介入したかで数字が大きく変わります。 - 自分の業務を2つに分類する
完了条件が明確で繰り返し可能か、それとも毎回判断が違うかをまず決めましょう。 - 構造化された業務から先にパイロットする
a16zの事例のように、チケット分類、データ入力、ポータルログインのような狭くて繰り返し可能な業務から検証しましょう。 - 失敗率への対応計画を立てる
15%前後の失敗を人間が受け止めるエスカレーション経路がなければ、まだ導入する準備ができてません。
もっと詳しく知りたい方へ
Can Agents Use a Computer Yet? a16zの原文。コスト計算と実際の導入事例が詳しく書かれてます。a16z.com
OSWorld公式ベンチマークサイト タスク構成とリーダーボードを直接確認できます。osworld-v1.xlang.ai
The Hardest Easy Problem in AI ベンチマークと実際の完成度のギャップを整理した記事。medium.com
ブラウザ・PCを操作するAIエージェント、今どこまで来たのか ベンチマークの数字が実際に何を測っているのかを掘り下げた韓国の開発者ブログ。youngju.dev
Computer-use agents hit 85% on OSWorld 2年間のベンチマーク成長タイムラインをまとめた記事。cryptobriefing.com
OSWorld 2.0関連の韓国語報道 108タスクの構成と評価方法を扱った記事。aitimes.com
