봇이 자꾸 깨진다고, 전부 AI로 바꿀 수는 없습니다
버튼 이름이 바뀔 때마다 자동화가 멈추고 담당자가 셀렉터를 고치고 있다면 Computer Use 에이전트가 매력적으로 보입니다. 화면을 보고 다음 행동을 판단하니 기존 봇을 통째로 대체할 수 있을 것 같고요.
하지만 선택지는 ‘낡은 RPA냐, 똑똑한 AI냐’로 갈리지 않습니다. 현재 RPA도 좌표만 재생하지 않으며, Computer Use도 처음 보는 기업용 화면을 항상 정확히 처리하지는 못합니다. 안정된 반복 구간은 기존 자동화에, 화면 해석이 필요한 예외 구간은 Computer Use에 맡기는 것이 현실적인 출발점입니다.
현재 RPA는 좌표만 외우는 봇이 아닙니다
RPA를 ‘여기를 클릭하고 저기에 입력하라는 좌표 기록’으로만 설명하면 현재 제품의 능력을 놓치게 됩니다. UiPath의 Modern UI Automation은 Strict Selector와 Fuzzy Selector뿐 아니라 앵커, Computer Vision, 이미지 인식, 네이티브 텍스트 같은 여러 방식을 조합해 화면 요소를 찾습니다. 레코더는 동작을 캡처하는 입력 수단이지, 모든 봇이 좌표만 반복한다는 뜻은 아닙니다.
물론 이미지와 고정 위치에 크게 의존하는 오래된 구현은 UI 변경에 취약할 수 있습니다. 다만 그 문제는 RPA 전체의 한계라기보다 해당 자동화가 화면 요소를 어떻게 식별하도록 만들어졌는지에 가깝습니다.
시장도 사라지지 않았습니다. UiPath의 2027 회계연도 1분기 매출은 4억1,800만 달러로 전년 동기보다 17% 늘었고, 2026년 4월 30일 기준 ARR은 19억100만 달러로 12% 증가했습니다. 다만 이는 에이전틱 제품과 오케스트레이션을 포함한 회사 전체 실적이므로, 전통적인 RPA 봇만의 성장이나 Computer Use의 대체 효과를 증명하는 숫자는 아닙니다.
Computer Use가 채우는 곳은 ‘API 밖의 화면’입니다
Computer Use의 실질적인 차이는 정해진 좌표 대신 현재 화면을 해석해 행동을 고를 수 있다는 점입니다. a16z는 프로그램 방식의 접근이 어려울 때 에이전트가 UI를 통해 로그인하고 클릭하고 파일을 보내며, API·MCP 기반 도구와 화면 조작을 한 업무 흐름 안에서 연결할 수 있다고 설명합니다.
그렇다고 ‘API가 없으면 AI가 해결한다’고 단정하면 곤란합니다. 같은 글에서도 기업마다 다른 화면, 워크플로, 데이터 모델 때문에 범용 에이전트가 복잡한 엔터프라이즈 소프트웨어를 곧바로 탐색하기 어렵고 업무별 맥락이 필요하다고 짚습니다. 복잡하거나 낯선 UI에서는 느리고 비쌀 수 있다는 한계도 함께 제시합니다.
| 업무 조건 | 먼저 검토할 방식 | 이유 |
|---|---|---|
| 화면과 규칙이 안정적이고 처리량이 많음 | 기존 RPA·API | 실행 경로와 결과를 예측하기 쉽습니다. |
| 화면을 읽어 예외를 분류해야 함 | Computer Use 파일럿 | 현재 상태를 해석해 다음 행동을 고를 여지가 있습니다. |
| API와 화면 작업이 섞여 있음 | 혼합 구성 | 구조화된 단계는 API로, UI에서만 가능한 단계는 화면 조작으로 나눌 수 있습니다. |
| 결제·삭제·민감정보 처리가 포함됨 | 자동 실행 보류 | 오류와 프롬프트 인젝션의 피해를 되돌리기 어렵습니다. |
교체 여부보다 경계를 먼저 찾으세요. 기존 자동화의 전체 과정을 단계별로 펼친 뒤, 안정적으로 작동하는 구간은 그대로 두고 사람이 화면을 해석하느라 멈추는 예외 한 곳만 Computer Use 후보로 고르는 방식입니다.
Claude in Chrome은 브라우저부터 검증해야 합니다
Claude in Chrome은 웹사이트를 읽고 클릭하고 탐색하는 Chrome 확장 프로그램입니다. 다른 Chromium 브라우저와 모바일은 지원하지 않습니다. 따라서 이 제품을 근거로 데스크톱 전용 SAP 클라이언트나 병원 EMR까지 자동화할 수 있다고 말할 수는 없습니다. 대상 업무가 Chrome에서 열리지 않는다면 다른 Computer Use 제품이나 기존 데스크톱 자동화 도구를 별도로 검토해야 합니다.
Chrome에서 처리되는 업무라면 민감정보가 없는 읽기·추출 작업 하나로 시작할 수 있습니다. Google Chrome 데스크톱과 Claude Pro·Max·Team·Enterprise 중 하나가 필요하며, 조직 계정에서는 관리자가 확장 프로그램 사용 권한과 사이트 정책을 먼저 설정해야 할 수 있습니다.
- 업무를 안정 구간과 예외 구간으로 나눕니다.
API나 기존 RPA가 이미 정확히 처리하는 단계는 제외하고, 사람이 화면을 읽어야 하는 단계 중 쓰기·결제·삭제가 없는 작업 하나를 고르세요. - 공식 시작 문서에서 확장 프로그램을 설치합니다.
Chrome Web Store로 이동해 설치하고 Claude 계정으로 로그인한 다음 필요한 브라우저 권한을 확인합니다. - 조직 파일럿의 사용자와 사이트를 제한합니다.
Team·Enterprise 관리자는 테스트 담당자에게만 기능을 배포하고, 검증할 사이트만 허용 목록에 넣으세요. - 별도 브라우저 프로필에서 수동 승인 모드를 선택합니다.
테스트 페이지를 열고 입력창의 권한 메뉴에서 Manually approve를 선택한 뒤, “이 테스트 주문 페이지에서 주문번호, 상태, 예정일만 읽어 표로 정리해 주세요. 어떤 값도 입력하거나 수정하지 말고, 다른 사이트로 이동하기 전에는 멈춰 주세요”라고 요청합니다. Cowork 사이드 패널은 행동마다 승인을 요청하지만, classic 사이드 패널은 먼저 계획을 승인한 뒤 그 범위 안에서 동작하므로 현재 화면의 승인 방식을 확인하세요. - 결과와 관찰 내용을 별도 검증표에 기록합니다.
정답 샘플과 추출 결과를 대조해 필드 누락과 오인을 표시하고, 실행 중 직접 확인한 승인·거부와 예상 밖 이동·입력 시도를 함께 적으세요. Cowork 사이드 패널이 활성화된 환경에서는 저장된 세션을 보조 자료로 참고할 수 있지만, 모든 유료 플랜과 조직 설정에서 같은 방식으로 제공되는 것은 아닙니다. 허용하지 않은 이동이나 쓰기·전송 시도가 나타나면 자동 실행 범위를 넓히지 않습니다.
성공 기준은 ‘한 번 잘 됐다’가 아닙니다. 정답이 준비된 여러 테스트 사례에서 필요한 값을 빠짐없이 추출하고, 허용 사이트 밖으로 나가거나 데이터를 변경하지 않아야 합니다. 공통 확인 수단은 별도 검증표와 실행 중 관찰한 승인·거부 내역이며, 저장된 세션은 Cowork 사이드 패널이 활성화된 경우에만 보조 근거로 사용하세요.
위험한 업무는 정확도보다 권한이 먼저입니다
웹페이지에 숨은 지시가 에이전트를 유도해 의도하지 않은 행동이나 데이터 유출을 일으킬 가능성은 남아 있습니다. Anthropic도 위험이 0이 아니라고 밝히며, 별도 브라우저 프로필과 신뢰하는 사이트, 제한적인 허용 목록을 사용하고 민감정보가 없는 단순 업무부터 시작하라고 권고합니다.
금융 계정, 법률 문서, 의료정보, 민감한 회사 계정이나 타인의 개인정보를 관리·처리하는 용도로는 Claude in Chrome을 사용하지 않는 것이 공식 권고입니다. 규제 데이터가 있는 페이지에서도 사용이 권고되지 않으며, HIPAA 적용 조직에는 Claude in Chrome이 제공되지 않습니다. 조직 관리자가 허용·차단 목록과 배포 대상을 통제할 수 있어도 이 제한이 해제되는 것은 아니며, 승인 절차 역시 위험을 완전히 제거하지 않습니다.
RPA 교체 비용을 비교할 때 실행 성공률만 보지 마세요. 사람의 승인 시간, 잘못된 행동을 복구하는 시간, 모델 사용 비용, 기존 봇 유지보수 시간을 같은 업무량과 품질 기준으로 기록해야 합니다. 현재 공개 자료만으로는 RPA와 Computer Use 중 어느 쪽의 운영비가 항상 낮다고 결론 내릴 수 없습니다.
