AI 에이전트가 컴퓨터 사용 벤치마크에서 사람(72%)을 넘었대요. 85%.
근데 이름이 똑같은 벤치마크의 더 어려운 버전에서는 20.6%가 나왔어요.
숫자는 거짓말을 안 했어요. 우리가 조건을 안 물어본 거죠.
다들 이렇게 믿죠
지난주 a16z가 낸 리포트 제목부터 확신에 차 있었어요. "Can Agents Use a Computer Yet? We've Got the Data." 결론도 명확했죠. 이제 됐다는 거예요.
2년 전만 해도 최고 성능 모델이 OSWorld-Verified에서 12%를 찍었어요. 지금은 Claude Fable 5가 85%까지 올라오면서 인간 기준선(72%)을 넘었고요. a16z의 Serafini, Amble, Zhou는 여기에 비용 계산까지 붙였어요. 컴퓨터를 조작하는 AI 에이전트는 시간당 6~8달러면 돌아가는데, 인도 BPO 인력은 시간당 10달러, 미국 백오피스 인력은 시급 20.59달러에 복리후생까지 얹으면 30~45달러가 든다는 거예요.
실제 배포 사례도 있었어요. 한 CPG 데이터 플랫폼은 월 1,500만~2,100만 건의 포털 상호작용을 에이전트가 처리 중이고, 어느 글로벌 시스템통합업체는 27개의 워크플로우로 하루 1,500~2,100건의 IT 티켓을 자동 처리하고 있대요. 이 정도면 "이제 우리 회사도 도입해야 하나?"라는 생각이 들 만하죠.
근데 숫자는 반쪽이었어요
같은 시기, 같은 이름의 벤치마크에서 전혀 다른 숫자가 나왔어요. OSWorld를 만든 XLang Lab이 2026년 상반기에 OSWorld 2.0을 공개했는데, 여기서는 최고 성능 에이전트도 20.6%밖에 완료하지 못했어요.
왜 이렇게 차이가 날까요? OSWorld 2.0은 "숙련된 사람이 평균 1.6시간 걸리는 실제 업무" 108개로 구성돼 있어요. 연구, 콘텐츠 제작, 소프트웨어 개발, 비즈니스·금융 등 7개 분야를 아우르고, 과제당 평균 27.25개의 체크포인트로 부분 점수를 매기고요. 반면 원래 OSWorld(1.0)는 훨씬 짧고 자족적인 작업 위주였어요.
"벤치마크 성공률과 실제 작업 완성도 간의 괴리가 이 분야의 가장 중요한 문제다."
— Adnan Masood, AI 리서처
개발자 블로그 youngju.dev는 이걸 더 구체적으로 짚었어요. 같은 모델이 같은 벤치마크에서 83.5% vs 20.6%, 63퍼센트포인트 차이를 보이는 이유는 모델이 갑자기 나빠진 게 아니라 측정 방식이 다르기 때문이라는 거예요. 짧고 자족적인 작업이면 80%대가 나오고, 실제 업무처럼 긴 워크플로우면 20%대로 떨어지고요. 게다가 과제의 약 45%는 GUI 클릭 대신 터미널/스크립트 실행으로 처리된 결과라, "컴퓨터 사용 능력"이라는 말 자체가 GUI 조작·스크립팅·추론이 뒤섞인 걸 가리킨다고 지적했어요. 참고로 OpenAI의 Operator는 원래 OSWorld 기준으로 38%를 기록했는데, 이건 "많은 작업 분류에서 거의 무작위 수준"이라는 평가를 받았어요.
벤치마크 숫자, 이렇게 만들어져요
같은 "OSWorld"라는 이름 안에 짧은 작업 버전(1.0)과 1.6시간짜리 실제 업무 버전(2.0)이 같이 있어요. 스텝 예산·재시도 횟수·평가 버전을 밝히지 않은 숫자는 비교 자체가 불가능해요.
그래서 뭘 믿어야 하는데?
사실 a16z 리포트를 다시 보면, 저자들도 이 함정을 알고 있었어요. 이들이 강조한 건 "AI가 이제 컴퓨터를 만능으로 쓴다"가 아니라, "표준화되고 반복 가능한 작업에서 컴퓨터 사용 에이전트가 가장 강력하다"는 좁은 주장이었어요. 실제 배포 사례로 든 것도 CRM 업데이트, IT 티켓 분류, 정부·보험 포털 접속처럼 완료 조건이 뚜렷한 업무들이었고요. 15%의 실패율이 있어도, 사람이 받아낼 에스컬레이션 경로만 있으면 24/7 처리량으로 상쇄가 되는 영역이에요.
즉 "85%"와 "20.6%"는 서로 다른 질문에 대한 답이에요. 우리 업무를 아래 두 칸 중 어디에 놓을지가 먼저예요.
| 개방형 업무 | 구조화·반복 업무 | |
|---|---|---|
| 예시 | 오픈엔드 리서치, 창의적 판단, 예외 처리 많은 업무 | CRM 데이터 입력, IT 티켓 분류, 포털 접속/입력 |
| 완료 조건 | 매번 다르게 판단해야 함 | 명확하고 반복 가능함 |
| 벤치마크 근거 | OSWorld 2.0 기준 ~20.6% | OSWorld-Verified 기준 ~85% |
| 지금 상태 | 사람이 계속 주도해야 함 | 프로덕션 배포 사례 이미 존재 |
벤더 피칭 받을 때 확인할 것
- 벤치마크 버전부터 물어보기
"OSWorld 돌렸어요"라는 말만으로는 부족해요. 1.0인지 2.0인지, 평균 몇 분짜리 작업으로 테스트했는지 확인하세요. - 스텝 예산·시도 횟수 확인
몇 번 재시도까지 허용했는지, 실패했을 때 사람이 몇 번 개입했는지가 숫자를 완전히 바꿔놔요. - 우리 업무를 둘 중 하나로 분류
완료 조건이 명확하고 반복 가능한지, 아니면 매번 판단이 달라지는지부터 정하세요. - 구조화된 업무부터 파일럿
a16z가 든 사례처럼 티켓 분류, 데이터 입력, 포털 접속같이 좁고 반복적인 업무로 먼저 검증하세요. - 실패율 감당 계획 세우기
15% 안팎의 실패를 사람이 받아낼 에스컬레이션 경로가 없다면, 아직 도입할 준비가 안 된 거예요.
