코드 실행 전마다 뜨는 승인 팝업, 사실 내용 안 읽고 그냥 누르고 계시죠?
실측 데이터를 보면 개발자들은 그 프롬프트의 97%를 반사적으로 승인했어요. 실제로 거부한 비율은 3%뿐이었고요.
그리고 이 숫자 하나 때문에, 클로드 코드는 8월 14일부터 그 팝업 자체를 없애버립니다.
사람이 봐야 더 안전한 거 아니었어요?
클로드 코드 같은 AI 코딩 에이전트는 파일을 고치거나 셸 명령을 실행하기 전에 매번 "이 작업을 승인하시겠습니까?" 하고 물어봤어요. 이유는 명확했죠 — 사람이 한 번 더 보면 위험한 명령을 막을 수 있으니까요.
근데 실제로 하루에 수십, 수백 번씩 이 팝업을 마주하다 보면 어떻게 될까요. Anthropic이 자체 엔지니어링 블로그에서 밝힌 바로는, CLI 사용자의 49.5%가 임의 코드 실행을 허용하는 Bash allow-rule을 만들어뒀고, 62%는 권한 시스템 자체를 아예 우회한 적이 있었대요. 번거로우니까 승인 절차를 없애버리는 사람이 더 많았다는 뜻이에요.
근데 숫자는 정반대였어요
Anthropic이 유료 테스터 1,053명을 대상으로 통제 실험을 했어요. 세션 안에 위험한 명령을 일부러 섞어두고, 사람이 그걸 얼마나 잡아내는지 봤죠. 결과는 13.6%. 열에 여덟아홉은 그냥 넘어갔다는 거예요.
같은 테스트를 AI 분류기로 돌렸더니 89%를 잡아냈어요. 심지어 사람의 판단력은 세션이 길어질수록 더 떨어졌는데요, 초반엔 위험 명령의 17% 정도를 차단하다가 프롬프트 50개를 넘긴 뒤로는 5%까지 떨어졌어요. AI 분류기의 차단율은 세션 길이와 무관하게 그대로였고요.
| 사람 (수동 승인) | AI 분류기 (오토모드) | |
|---|---|---|
| 위험 명령 차단율 | 13.6% | 89% |
| 프롬프트 반사적 승인율 | 97% | 해당 없음 (매번 재평가) |
| 세션 50회 이후 판단력 | 5%까지 하락 | 변화 없음 |
The Register는 인간의 검토가 "근육 기억(muscle memory)에 가깝다"고 짚었고, 기사 제목도 아예 "걸어나가서 분류기가 알아서 잡아주길 바라는 것"이라고 뽑았어요. TechCrunch는 별다른 반박 없이 이 수치를 그대로 실었고요. 회의적인 논조긴 하지만, 데이터 자체는 뒤집기 어려운 상황인 거죠.
그럼 뭘 믿고 자동으로 돌리는 건데?
오토모드의 분류기는 2단계로 작동해요. 1단계는 모든 도구 호출을 빠르게 훑는 단순 필터(오탐을 감수하고 일단 의심되면 막는 방식), 2단계는 1단계에서 걸린 것만 골라 추론 기반으로 다시 판단해요. 흥미로운 건 분류기가 Claude의 설명이나 그럴듯한 이유는 아예 보지 않는다는 점이에요. 사용자 메시지와 실행하려는 명령어만 보고 판단해요 — AI가 스스로를 설득하는 논리에 분류기가 넘어가지 않게 하려는 설계예요.
그 위에 하드 데니 규칙이 20개 넘게 깔려 있어요. 강제 푸시, 대량 삭제, 외부로 데이터 전송, 로깅 비활성화, 프로덕션 배포처럼 되돌리기 어려운 작업은 분류기 판단과 별개로 무조건 막혀요. 막히면 세션이 멈추는 게 아니라 "다른 방법을 찾아보라"는 안내가 돌아가고, 같은 상황이 3번 연속 또는 세션 내 20번 누적되면 자동으로 수동 승인 모드로 전환돼요.
주의
완벽하진 않아요. Anthropic이 공개한 수치를 보면, 실제로 과감했던(overeager) 승인 사례 중 17%는 분류기도 놓쳤어요. 위험을 못 알아본 게 아니라, "사용자가 이 정도까지 동의한 게 맞는지" 판단이 애매했던 경우예요. 인프라를 직접 건드리는 고위험 작업엔 여전히 사람의 눈이 필요하다는 뜻이에요.
지금 바로 확인할 것
- 적용 대상인지 확인
Pro, Max, Team 플랜은 8월 14일부터 신규 세션에 순차 적용돼요. Enterprise·API·클라우드(AWS/GCP/Azure)는 9월 이후로 미뤄집니다.Shift+Tab으로 언제든 수동 모드로 되돌릴 수 있어요. - 기존 allow-rule 점검
범위가 넓은 Bash allow-rule은 분류기를 우회할 수 있어서 오토모드에서 일부 비활성화돼요. 팀에서 써오던 룰이 있다면 뭐가 막히는지 미리 확인하세요. - 고위험 작업은 여전히 수동으로
프로덕션 배포, 인프라 변경, 대규모 데이터 이동처럼 되돌리기 힘든 작업은 오토모드에 맡기지 말고 직접 검토하세요. - 3연속·20회 차단 규칙 팀에 공지
분류기가 같은 걸 계속 막으면 자동으로 수동 모드로 넘어가요. 왜 갑자기 승인 창이 뜨는지 팀원들이 헷갈리지 않게 미리 알려두세요. - 낮은 리스크 작업부터 시작
리팩터링, 테스트 작성, 문서화처럼 되돌리기 쉬운 작업으로 먼저 감을 잡고, 점점 범위를 넓혀가세요.
