클라르나는 2024년 초, AI 챗봇이 700명분의 일을 하고 있다고 발표했어요. 상담원을 줄이고, 연간 4천만 달러를 아낄 거라고요. 그리고 2025년 말부터 2026년 초 사이, 조용히 사람을 다시 뽑기 시작했습니다.
숫자 하나가 틀린 게 아니에요. 그 숫자가 답할 수 없는 질문에 답을 준 것처럼 보인 게 문제였어요. "AI 자동화 ROI가 얼마냐"는 질문에, 회사 전체를 뭉뚱그린 배수 하나로 답하려는 순간 이런 일이 반복됩니다.
왜 700명분이 반년 만에 뒤집혔나
클라르나 사례를 다시 보면 답이 보여요. AI는 단순 문의는 잘 처리했지만, 복잡한 결제 분쟁, 사기 신고, 정책 예외 처리에서 계속 막혔습니다. 고객은 같은 문제로 여러 번 재문의했고, 화가 난 고객을 진정시키는 데도 서툴렀어요. 결국 회사는 AI가 1차 응대를, 사람이 예외 상황과 고객 유지를 맡는 하이브리드 구조로 되돌아갔습니다.
문제는 "700명분"이라는 숫자 자체가 아니었어요. 그 숫자가 어느 업무에서 나왔는지를 말해주지 않았다는 거예요. 단순 문의에서는 진짜로 700명분이었을 수 있어요. 근데 그 숫자를 회사 전체 고객 서비스 ROI로 확장한 순간, 예외 처리가 필요한 20~30%의 업무에서 비용이 다시 새기 시작한 거죠.
'2.5배 ROI' 같은 숫자가 위험한 이유
이게 클라르나만의 특수 사례가 아니라는 게 더 무섭습니다. 하버드경영대학원과 BCG가 758명의 컨설턴트를 대상으로 진행한 현장 실험을 보면, AI가 잘하는 업무 영역(경계 안쪽)에서는 25% 더 빠르고 40% 더 높은 품질의 결과를 냈어요. 근데 그 경계를 살짝 벗어난 업무에서는, AI를 쓴 컨설턴트가 틀린 답을 낼 확률이 19%포인트나 더 높았습니다. 연구팀은 이 현상을 "들쭉날쭉한 기술 경계(jagged frontier)"라고 불렀어요. 같은 워크플로우 안에서도 어떤 업무는 AI가 압도적으로 잘하고, 바로 옆 업무는 오히려 사람보다 못한다는 뜻이에요.
그래서 "우리 회사 AI ROI는 2.5배"처럼 회사 전체를 하나의 숫자로 뭉치는 순간, 그 안에 잘하는 업무와 못하는 업무가 섞여 평균으로 뭉개져요. 맥킨지 조사에 따르면 생성형 AI를 쓴다고 답한 조직의 88%가 정기적으로 AI를 사용 중이지만, 실제로 워크플로우를 근본적으로 재설계한 곳은 21%뿐이었습니다. 그리고 이 재설계 여부가 EBIT에 미치는 영향을 가르는 가장 큰 변수였어요. MIT의 연구에서는 더 극단적인 숫자가 나왔는데, 조사한 생성형 AI 파일럿의 95%가 측정 가능한 손익 개선을 만들어내지 못했습니다. BCG가 1,800명 이상의 경영진을 조사한 결과도 비슷해요. AI를 우선순위로 꼽은 경영진은 75%였지만, 실제로 유의미한 가치를 실현했다고 답한 비율은 25%에 그쳤어요.
| 회사 전체 뭉뚱그린 숫자 | 업무단위 검증 벤치마크 | |
|---|---|---|
| 대표 사례 | "AI가 700명분 절감" | 고객지원 정형 문의 -15% 처리시간 |
| 출처 | 회사 자체 보도자료 | 동료심사 필드 실험 / 통제된 RCT |
| 재현성 | 예외 업무 섞이면 뒤집힘 | 업무 경계가 명확해 재현 가능 |
| 클라르나 결과 | 반년 뒤 재고용으로 철회 | 개발 생산성 55.8%↑는 재현됨 |
그래서 뭘 믿고 CFO에게 보고해야 하나
믿을 수 있는 숫자는 존재해요. 다만 업무 경계가 뚜렷한 곳에서만요. GitHub이 전문 개발자 95명을 무작위로 나눠 진행한 통제 실험에서, Copilot을 쓴 그룹은 동일한 HTTP 서버 구현 과제를 55.8% 더 빠르게(1시간 11분 vs 2시간 41분) 끝냈고, 완성도도 78% 대 70%로 더 높았어요. 통계적으로도 유의미했고요(p=0.0017).
이런 숫자들의 공통점은 출처의 신뢰도가 계층으로 나뉜다는 거예요. 벤더가 발표한 고객 사례(클라르나 700명분)와, 무작위 통제 실험으로 검증된 수치(Copilot 55.8%)는 같은 급으로 취급하면 안 됩니다. 출처를 신뢰도순으로 줄 세우면 이렇게 정리돼요.
| 신뢰도 | 출처 유형 | 예시 |
|---|---|---|
| ① 최고 | 동료심사 필드 실험 | HBS/BCG 컨설턴트 실험, GitHub Copilot RCT |
| ② 높음 | 투자자 공시 | 실적발표에 포함된 재무 수치 |
| ③ 중간 | 내부 운영 사례 | 사내 대시보드로 검증된 절감 실적 |
| ④ 중간-낮음 | 벤더 발표 고객 사례 | "우리 고객이 700명분 아꼈다" |
| ⑤ 낮음 | 단일 경영진 설문 | 임원 체감 응답 (다른 근거와 교차검증 시만 사용) |
클라르나가 발표한 숫자는 표에서 ④번, 벤더 발표 고객 사례에 해당해요. 이 등급의 숫자는 참고는 하되, 이사회 보고서에 그대로 옮기면 안 되는 자리예요. 반면 Copilot의 55.8%나 컨설턴트 실험의 25% 같은 숫자는 ①번 등급이라 훨씬 안전하게 인용할 수 있고요.
5단계로 검증 가능한 ROI 표 만드는 법
- 업무를 쪼갠다
"고객 서비스 AI 도입"처럼 뭉뚱그리지 말고, "정형 문의 응대"와 "결제 분쟁 처리"를 따로 떼어 각각 측정 대상으로 삼으세요. - 업무별로 기준선부터 잰다
AI 도입 전 처리 건수·소요시간·비용·품질·예외율을 먼저 기록해두지 않으면, 나중에 어떤 절감도 검증할 방법이 없어요. - 출처 신뢰도를 표시한다
위 5단계 표 기준으로 숫자마다 등급을 붙이세요. ④·⑤등급 숫자는 "참고용"이라고 명시하고 보고서 본문에서 분리하세요. - 기대효과·연간화·실현 절감을 섞지 않는다
"연간 4천만 달러 예상"과 "실제로 이번 분기에 줄어든 비용"은 다른 줄에 적으세요. 섞는 순간 클라르나식 반전이 반복됩니다. 매몰비용 때문에 애매한 파일럿을 질질 끌지 않는 것도 CFO의 몫이고요. - 워크플로우 재설계 여부를 함께 적는다
같은 도구를 도입해도 프로세스를 다시 짠 팀과 기존 프로세스에 얹기만 한 팀은 결과가 다릅니다. 재설계 여부를 별도 열로 남겨두세요.
주의
업무 경계 밖으로 AI를 확장할 때는 특히 조심하세요. 잘하는 업무에서 얻은 신뢰를 근거로 예외 처리·감정 대응이 필요한 업무까지 밀어붙이면, 정확도가 오히려 사람보다 떨어질 수 있습니다.
자주 묻는 질문
이미 진행 중인 AI 파일럿의 ROI를 사후에 검증하려면 어디서부터 시작해야 하나요?
도입 전 기준선이 없다면 완벽한 검증은 불가능해요. 대신 비슷한 성격의 업무를 아직 AI를 안 쓰는 팀·지점과 비교하는 준실험 설계로 근사치를 잡을 수 있어요. 그마저 안 되면, 최소한 지금부터라도 업무단위 기준선을 새로 잡고 다음 분기부터 비교하세요.
부서마다 측정 기준이 다르면 전사 비교가 불가능한데, 어떻게 맞추나요?
전사 통일 지표를 억지로 만들기보다, 부서마다 "볼륨·시간·비용·품질·예외율" 다섯 항목만 공통으로 고정하고 나머지는 업무 특성에 맞게 두세요. 다섯 항목이 같으면 부서 간 배수는 달라도 신뢰도 등급끼리는 비교할 수 있어요.
벤더가 제공하는 도입 후 수치를 그대로 이사회에 보고해도 되나요?
등급을 명시하고 보고하면 괜찮아요. "벤더 발표 기준(④등급)"이라고 출처를 밝히고, 내부에서 재현되지 않은 숫자라는 점을 함께 적으면 나중에 클라르나처럼 뒤집혀도 신뢰가 무너지지 않아요.
워크플로우 재설계 없이도 측정 가능한 최소 단위 ROI가 있을까요?
있어요. 코드 리뷰나 정형 문의 응대처럼 업무 경계가 원래도 뚜렷한 작업은 기존 프로세스 위에 얹기만 해도 효과가 재현됩니다. 다만 예외 처리가 섞인 업무는 재설계 없이는 숫자가 오래 못 버텨요.
파일럿 단계에서 벌써 실패 신호를 어떻게 알아채나요?
재문의율과 예외 처리 이관률을 보세요. 같은 문의가 반복해서 들어오거나, AI가 처리하다 사람에게 넘기는 비율이 줄지 않으면 그 업무는 아직 AI의 경계 안쪽이 아니라는 신호예요.
