AIモデルをわざと4段階弱くしたら、なぜか正確になった — a16zが900万ドルを賭けた理由

あるAIスタートアップが900万ドルを調達して最初にやったこと——それは、自社モデルをわざと弱くすることでした。

しかもフロンティアモデルより4段階も劣るモデルにです。 techcrunch

誰もが「もっと賢いAI」が答えだと思っていますよね

AIが間違えたら、次のバージョン、もっと大きなモデルが出るのを待つ——それが普通の反応ですよね。GPTがダメなら次のGPT、Claudeが混乱したら次のClaude。「モデルが大きく賢くなれば、いつか間違えなくなるはず」というのが、業界全体の暗黙の前提だったんです。

でも数字を見ると、この前提が揺らぐんです。2026年に37個のモデルをベンチマークした結果、全体のハルシネーション率は15%〜52%にのぼり、最も正確とされるトップモデルでも15〜17%程度でした。法律関連の質問では69〜88%、安全対策のない医療業務では最大64%まで跳ね上がります。モデルはどんどん進化しているのに、この数字はなかなか下がらないんですよね。 sqmagazine.co.uk

これは単なる統計上の話では終わりません。2024年の1年間だけで、AIのハルシネーションによる世界的な損失は670億ドル規模にのぼり、2026年第1四半期だけでも誤った金融分析のせいで23億ドルが失われました。企業は従業員1人当たり年間14,200ドル、週4.3時間をAIの回答検証に費やしているそうです。経営層の47%は、ハルシネーションを含んだコンテンツをもとに重要な意思決定をしてしまった経験があるといいます。 tendem

そんな中、誰もが「次のモデルが出れば良くなるはず」と待っている間に、a16zが900万ドルを賭けたあるスタートアップは正反対の方向へ進みました。

Probablyが選んだのは真逆の道だった

OptimizelyでデータプラットフォームをリードしていたPeter Eliasが立ち上げたProbablyは、モデルを大きくする代わりにモデルを監視するハーネスを作りました。Eliasはこれを「データサイエンスのメックスーツ」と呼んでいます——LLMが出したすべての答えを実際のデータセットと突き合わせる決定論的な検証器をかぶせ、その検証器を通過するようモデルを再学習させる仕組みです。 techcrunch +1

結果は直感に反するものでした。ハーネスがきちんと機能すれば、フロンティアモデルより4段階も弱いモデルでも同等の信頼性を出せたというんです。Eliasの言葉をそのまま引用すると、こうです。 techcrunch

「ハーネスのエンジニアリングがうまくいくほど、モデルは弱くていいんです。コンテキストを十分に磨き上げられれば、モデルはそこまで頑張る必要がありません。」

— Peter Elias、Probably創業者

目指しているのは、決定論的なシステムでしか見られないような99.99%の精度です。これがなぜビジネスになるかというと——モデルが弱くて済むということは、ローカルのハードウェア(現行のBeta 0.1はM1〜M5のApple Siliconに対応)で動かせるということ、トークンコストが大きく下がるということ、そして顧客データはローカルに残したまま推論だけをクラウドに送れるということを意味するからです。Probablyはこの仕組みでインフラコストを最大25%削減できると明かしています。 techcrunch +1

Eliasが指摘する理由も興味深いです。「大手ラボにはこれをやるインセンティブがありません。モデルを何度も直させるほど儲かる仕組みになっているので」とのこと。a16zも同じ文脈で、最近「AIを退屈にする企業こそが最大の価値を生む」という投資テーゼを打ち出しています——ここでの「退屈」とはつまらないという意味ではなく、データベースのように予測可能で信頼できるという意味です。 techcrunch +1

ここで判定基準の話が重要になってきます。最近よく使われるLLM-as-judge方式は、結局のところ別の確率モデルが採点しているだけなので、先に出てきた答えを好んでしまうポジションバイアスや、長い答えを好む冗長性バイアスから逃れられません。Probablyはこの採点自体をAIに任せず、人間が定めた決定論的なルールに置き換えました。「AIが合っているか」を別のAIに聞かない、という宣言のようなものですね。 futureagi

この動き、韓国でもすでに起きている

これはシリコンバレーだけの話ではありません。昨日(2026年7月14日)、韓国のAI企業ジェネシスコーテックスAIも同じ問題意識から'AI Debate Engine'を商用化しました。アプローチは異なります——Probablyが決定論的なルールで答えを検証するのに対し、こちらはChatGPT・Claude・Gemini・Grokを1つのプラットフォーム上で互いに討論させ、実行結果ベースで検証する「競争→検証→協力」のフレームワークを採用しています。単一モデルの確率的な答えをそのまま信じない、という方向性は同じです。 fnnews

これがなぜ今、韓国国内の企業にとっても他人事ではないかというと、AIを実務に組み込むほど、検証されていないリスクも一緒についてくるからです。最近の韓国国内のセキュリティレポートでは、プロンプトインジェクションが企業のAI運用環境における致命的な脆弱性として挙げられており、大企業の脆弱性の37%が1年以上放置されているという統計まで出ています。「AIが出した答えをどこまで信じられるか」は、もはや技術チームだけの問いではなく、AIツールを実務に取り入れるすべての組織の問いになっているんです。 gttkorea

3つの方式にはそれぞれ意味がありますが、自分たちの組織が今すぐ真似できるのは決定論的な検証ハーネスのほうです。複数のモデルを同時に動かしたり、別途採点用モデルを訓練したりする必要はなく、「正解をコードとして定義し、AIの回答をそれと照合する」という原則さえ取り入れればいいからです。

自社のAIワークフローにこの原則を取り入れる方法

Probablyを今すぐ導入することはできません(まだベータ版で、Apple Silicon限定です)。ただ、この会社が証明した原則——「正解が決まっている業務には決定論的な検証をかぶせる」——は、今使っているどんなAIワークフローにも応用できます。

1. 検証可能な業務から選ぶ
   数字・コード・DB照会のように「合っている/間違っている」がはっきりする業務をまず選びましょう。クリエイティブなライティングやオープンな質問にはこの方式は向いていません。
2. 正解データセット(ground truth)を確保する
   AIの答えを照合する基準が必要です。すでに検証済みの過去データ、社内DB、公式ドキュメントが候補になります。
3. 決定論的なルールで検証器を作る
   採点を別のAIに任せてはいけません。「この条件なら合格、そうでなければ却下」といったハードコードされたルールを自分たちで組んでこそ、偏りのない判定ができます。
4. 失敗ケースでプロンプト・コンテキストを補正する
   検証器がはじいた誤答のパターンを集めて、プロンプトや提供するコンテキストを継続的に磨きましょう。Eliasの言葉通り、「コンテキストが良くなるほど、モデルはそこまで頑張らなくて」よくなります。
5. 監査記録(citation trail)を残す
   AIの答えがどんな根拠で合格したのかログを残しておけば、後で「なぜこの答えを信じたのか」という問いに答えられます。信頼は結局、この記録から生まれるものです。

もっと深く知りたいなら

TechCrunchの原文記事 Probablyの900万ドルのシード投資と「データサイエンスのメックスーツ」というコンセプトを最初に報じた記事です techcrunch.com

a16z — Investing in LMArena 「AIを退屈にする企業が勝つ」というa16zの信頼性インフラへの投資テーゼが読めます a16z.com

SQ Magazine — LLMハルシネーション統計2026 37個のモデルのベンチマークに基づくハルシネーション率のデータをドメイン別に整理しています sqmagazine.co.uk

Future AGI — LLM-as-a-Judgeガイド LLM採点方式の仕組みと、ポジションバイアス・冗長性バイアスといった失敗例をまとめた記事です futureagi.com

Tendem — AIハルシネーションの本当のコスト 企業データをもとに、AIハルシネーションによる損失額と検証コストを整理したレポートです tendem.ai

GTT Korea — プロンプトインジェクション脆弱性レポート 韓国国内の視点から見た、企業のAI運用環境におけるセキュリティリスクの統計です gttkorea.com