クラルナは2024年初頭、AIチャットボットが700人分の仕事をしていると発表しました。サポート要員を削減し、年間4000万ドル節約するという見通しでした。そして2025年末から2026年初旬にかけて、静かに再雇用を始めたんです。
数字そのものが間違っていたわけではないんです。その数字が答えられない質問に答えているように見えたことが問題だったんですね。「当社のAI投資利益率は？」という質問に、会社全体を1つの倍率で答えようとする瞬間、このパターンは何度も繰り返されるんです。
なぜ700人分が半年で反転したのか
クラルナの実績数字を改めて見れば、答えは明らかなんです。AIは定型問い合わせの処理はうまくいきましたが、複雑な決済紛争、不正報告、ポリシー例外処理では何度も躓きました。顧客は同じ問題で何度も問い合わせを繰り返しました。チャットボットは不満のある顧客をなだめるのが下手でした。結局、会社はAIが一次対応を、人間が例外対応と顧客維持を担当するハイブリッド構造に戻ったんです。
本当の問題は「700人分」という数字そのものじゃなかったんです。その数字がどの業務から出た数字なのかを言ってくれなかったことなんです。定型問い合わせの処理だけなら、本当に700人分だったかもしれません。その数字をカスタマーサービス全体に拡張した瞬間、例外処理が必要な20～30%の業務から、費用が再び漏れ始めたんですね。
「2.5倍ROI」みたいな数字が危ない理由
これがクラルナだけの特殊ケースじゃないというのが、もっと怖いんです。ハーバード・ビジネス・スクールとBCGが758人のコンサルタントを対象に実施した現場実験を見ると、AIが得意な業務領域（境界内）では25%高速で40%品質が高い結果が得られました。でも、その境界をちょっと外れた業務では、AIを使ったコンサルタントが誤った答えを出す確率が19ポイント高かったんです。 研究チームはこの現象を「ギザギザな技術フロンティア（jagged frontier）」と呼びました。同じワークフロー内でも、ある業務ではAIが圧倒的に得意で、すぐそばの業務では人間より下手だという意味なんです。
「当社のAI投資利益率は2.5倍」みたいに会社全体を1つの数字に押し込める瞬間、AIが得意な業務と苦手な業務が混ざって平均に埋もれるんです。マッキンゼー調査によると、生成型AIを使用していると答えた組織は88%ですが、ワークフローを抜本的に再設計したのはわずか21%なんです。この再設計の有無がEBITに与える影響を分ける最大の変数だったんですよ。 MITの研究ではもっと極端な数字が出ました。調査した生成型AIパイロットの95%が測定可能な利益改善をもたらしていなかったんです。 BCGが1800人以上の経営層に調査した結果も似たようなものです。AIを優先課題に挙げた経営層は75%でしたが、実際に有意義な価値を実現できたと答えた比率は25%にとどまりました。
| 会社全体を一括りにした数字 | 業務単位検証ベンチマーク | |
|---|---|---|
| 典型例 | 「AIで700人削減」 | カスタマーサポート定型問い合わせ -15%処理時間 |
| 出典 | 会社のプレスリリース | 査読済み現場実験・統制されたRCT |
| 再現性 | 例外が混じると反転 | 業務境界が明確で再現可能 |
| クラルナの結果 | 半年後に再雇用で撤回 | 開発生産性55.8%↑は再現される |
では実際にCFOに何を報告すればいいのか
信頼できる数字は存在します。ただし業務境界が明確な場所からだけですね。GitHubが95人のプロフェッショナル開発者を無作為に分けて実施した統制実験では、Copilotを使ったグループは、同じHTTPサーバー実装課題を55.8%高速に（1時間11分 vs 2時間41分）完了しました。完成度も78% vs 70%で高かったんです。統計的にも有意でした（p=0.0017）。
こういう数字たちの共通点は出典の信頼度が階層に分かれているということなんです。ベンダーが発表した顧客事例（クラルナの700人分）と、無作為統制実験で検証された数字（Copilot 55.8%）は同じ級として扱ってはダメなんです。出典を信頼度順に並べるとこうなります。
| 信頼度 | 出典タイプ | 例 |
|---|---|---|
| ①最高 | 査読済み現場実験 | HBS/BCGコンサルタント実験、GitHub Copilot RCT |
| ②高 | 投資家向け公開情報 | 決算説明会に含まれる財務数値 |
| ③中程度 | 社内運用事例 | 内部ダッシュボードで検証された節減実績 |
| ④中程度～低 | ベンダー発表顧客事例 | 「当社の顧客が700人削減した」 |
| ⑤低 | 単一経営層の調査 | 経営層の体感応答（他の根拠との交差検証時のみ使用） |
クラルナが発表した数字は表の④番、ベンダー発表顧客事例に当たります。このグレードの数字は参考にはなりますが、取締役会報告書にそのまま移してはいけない席なんです。一方、Copilotの55.8%やコンサルタント実験の25%みたいな数字は①番グレードで、もっと安全に引用できるわけですね。
5段階で検証可能なROI表を作る方法
- 業務を細かく分ける
「カスタマーサービスAI導入」みたいに一括りにしないで、「定型問い合わせ対応」と「決済紛争処理」を別々に分けて、それぞれ測定対象にしてください。 - 業務別に基準線を測定する
AI導入前の処理件数・所要時間・費用・品質・例外率を先に記録しておかないと、後で何の削減も検証する方法がないんです。 - 出典の信頼度を表示する
上の5段階表基準で数字ごとにグレードをつけてください。④・⑤グレードの数字は「参考用」と明記して、報告書本文から分離してください。 - 期待効果・年換算・実現削減を混ぜない
「年間4000万ドル予想」と「実際に今四半期に削減された費用」は別の行に書いてください。混ぜた瞬間にクラルナ式反転が繰り返されるんです。サンクコスト発生しているからというパイロットプロジェクトを引き引っ張ることも、CFOの仕事ですね。 - ワークフロー再設計の有無を一緒に記す
同じツールを導入しても、プロセスを再設計したチームと既存プロセスに乗せただけのチームでは結果が違うんです。再設計の有無を別列で記しておいてください。
注意
AIの適用を業務境界の外に拡大する時は特に気をつけてください。得意な業務で得た信頼をもとに、例外処理や感情対応が必要な業務まで押し付けると、むしろ人間より正確度が下がる場合があります。
よくある質問
既に進行中のAIパイロットのROIを事後検証するなら、どこから始めたらいいですか？
導入前の基準線がなければ、完璧な検証は不可能ですね。代わりに、まだAIを使っていない別チーム・別拠点の似た業務と比較する準実験設計で近似値を出せます。それもできなければ、最低でも今からでも業務単位の新しい基準線を作って、来四半期から比較してください。
部門ごとに測定基準が違うと、全社比較ができないんですが、どう合わせますか？
無理に全社統一指標を作らずに、部門ごとに「ボリューム・時間・費用・品質・例外率」5項目だけ共通で固定して、残りは業務特性に合わせてください。5項目が同じなら、部門間の倍率は違っても信頼度グレード同士は比較できるんです。
ベンダーが提供した導入後数値をそのまま取締役会に報告してもいいですか？
グレードを明記して報告すれば大丈夫です。「ベンダー発表基準（④グレード）」と出典を明かして、社内では再現されていない数字だと一緒に記しておくと、後でクラルナみたいに反転しても信頼は崩れないんです。
ワークフロー再設計なしでも測定可能な最小単位ROIってありますか？
あります。コードレビューや定型問い合わせ対応みたいに業務境界がもともとはっきりしている作業は、既存プロセスに乗せるだけでも効果が再現されます。ただし例外処理が混ざった業務は再設計なしでは数字が長く持ちません。
パイロット段階で既に失敗信号を見抜くにはどうしますか？
再問い合わせ率と例外処理への移行率を見てください。同じ問い合わせが何度も来たり、AIが処理してから人間に移行する比率が減らなかったら、その業務はまだAIの境界の中側ではないという信号なんです。
もっと深く掘り下げたい場合
Navigating the Jagged Technological Frontier 758人のコンサルタントの現場実験でAIが得意な業務と苦手な業務を分けた原典研究 aiinstitute.hbs.edu
MIT GenAI Divide レポート解説 生成型AIパイロットの95%が利益に痕跡を残せなかった理由をまとめた記事 virtualizationreview.com
McKinsey State of AI 2025 重点要約 ワークフロー再設計21%と高性能企業の3倍格差をまとめた記事 gend.co
GitHub Copilot生産性RCT原文 95人開発者統制実験で55.8%速度改善を実証したリサーチ投稿 github.blog
BCG AI Impact Gap要約 1800人以上の経営層のうち25%のみが有意義な価値を実現したと答えた調査 tekstac.com
クラルナAI撤回タイムライン 700人削減発表から再雇用までの全過程 digitalapplied.com
CFO向けAI投資3段階戦略 FOMOに流されず、サンクコスト誤謬を避ける方法をまとめた記事 clobe.ai
