AI 에이전트가 자꾸 같은 실수를 반복한다면 더 비싼 모델부터 찾을 일이 아닐 수 있어요. 엔비디아의 ARC-AGI-3 결과가 보여준 건 모델의 순간 지능보다 기억하고, 검증하고, 막히면 방향을 바꾸는 작업 시스템이 장기 과제의 성패를 좌우한다는 점입니다.
100점의 주인공은 ‘더 똑똑한 모델’이 아니었습니다
엔비디아가 공개한 AVO(Agentic Variation Operators)는 새로운 언어 모델이 아니라 장시간 자율 작업을 위한 에이전트 시스템이에요. 주 에이전트가 상황을 조사하고 계획을 세워 실행한 뒤 결과를 평가하며, 영속 메모리와 도구가 그 과정을 이어줍니다. 별도의 감독 에이전트는 탐색이 정체되거나 같은 실패가 반복될 때 다른 전략으로 돌려보내고요.
시험 무대는 ARC-AGI-3였습니다. 규칙이나 목표를 알려주지 않는 낯선 2D 환경에서 행동의 효과를 관찰하고, 게임의 목표를 추론하고, 뒤로 갈수록 어려워지는 레벨을 풀어야 하는 대화형 추론 벤치마크예요. 정답 한 번을 출력하는 문제가 아니라 가설을 세우고 행동한 다음, 틀린 가설을 고쳐가는 능력을 봅니다.
AVO는 Claude Opus 5를 기반으로 공개 세트 25개 환경, 183개 레벨을 모두 완료해 RHAE 100.00을 기록했습니다. RHAE는 단순 정답률이 아니라 레벨 완수 여부와 첫 도전 인간 대비 행동 효율을 함께 계산해요. 100점은 모든 게임과 레벨을 끝내면서 인간 기준에 맞먹거나 이를 웃도는 효율을 냈다는 의미입니다.
TechCrunch가 주목한 숫자는 Claude Opus 5의 약 30% 모델 평가와 AVO 시스템의 100% 사이 격차였습니다. 하지만 이걸 “하네스 하나로 정확히 70%포인트 상승했다”는 통제 실험으로 읽으면 안 돼요. 엔비디아도 두 결과가 추론 설정, 에이전트 시스템, 평가 구성에서 다르기 때문에 AVO만의 기여도를 직접 측정한 비교가 아니라고 명시했습니다.
100점은 AGI 달성 선언이 아닙니다
이번 결과는 문제가 공개된 25개 환경에서 나온 것이며 준비공개·비공개 경쟁 세트 결과가 아닙니다. ARC Prize 측도 공개 환경에 맞춘 하네스 점수를 일반지능의 진전으로 해석하지 말라고 경고합니다. 공개 점수는 하네스 엔지니어링의 경제적 가치를 보여줄 수 있지만, 처음 보는 업무로 그대로 일반화되는지는 별도 검증이 필요해요.
하네스는 프롬프트 포장지가 아니라 작업 운영체제입니다
실무에서 하네스는 모델 앞뒤에 붙은 얇은 코드가 아니에요. 어떤 맥락을 전달할지, 무슨 도구를 허용할지, 결과를 어떻게 판정할지, 무엇을 다음 실행까지 보존할지 결정하는 실행 계층입니다. 모델이 ‘무엇을 생각할 수 있는가’를 담당한다면 하네스는 그 능력이 긴 작업 도중 사라지지 않게 관리해요.
| 실패 장면 | 모델만 교체할 때 | 하네스에서 고칠 지점 |
|---|---|---|
| 매 실행마다 처음부터 조사 | 더 긴 컨텍스트 모델 선택 | 가설·시도·결과를 구조화해 영속 저장 |
| 같은 오류를 반복 | 프롬프트에 “주의” 추가 | 실패 지문과 재시도 제한을 실행 전에 검사 |
| 완료했다고 했지만 결과가 틀림 | 자기평가를 한 번 더 요청 | 테스트·스키마·정적 분석 같은 외부 판정기 연결 |
| 긴 작업에서 목표 이탈 | 더 강한 모델로 재실행 | 독립 감독자가 목표·진척·비용을 주기적으로 점검 |
그중 첫 번째 레버는 기억입니다. OpenAI도 ARC-AGI-3에서 이전 추론을 유지하고 오래된 기록을 잘라내는 대신 압축하도록 하자 GPT-5.6 Sol의 공개 세트 점수가 13.3%에서 38.3%로 올랐고 출력 토큰은 6분의 1 수준이 됐다고 보고했습니다. 과거 행동만 남기고 “왜 그렇게 행동했는지”를 버리면 에이전트가 매 턴 문제를 다시 해석하게 된다는 설명이에요.
두 번째는 관찰 표현입니다. MIT의 VISTA는 같은 공개 25개 게임에서 Claude Opus 5에 원본 상태를 확대한 PNG로 전달하고, 필요할 때 과거 관찰을 원형 그대로 다시 꺼내는 시각 메모리를 붙여 RHAE 100을 기록했습니다. 반면 AVO는 이미지를 쓰지 않고 정확한 64×64 텍스트 그리드를 입력했어요. 둘 다 성공했다는 사실은 하나의 정답 인터페이스가 있다는 뜻이 아니라, 모델이 손실 없이 관찰하고 필요한 과거를 다시 찾게 하는 설계가 중요하다는 신호입니다.
세 번째는 감독과 검증의 분리예요. AVO의 주 에이전트는 조사·수정·실행을 맡고, 감독자는 더 긴 탐색 궤적에서 정체와 반복을 감시합니다. 모델에게 “잘하고 있는지 스스로 확인해”라고 시키는 것과 달리, 별도 상태와 중단 조건을 가진 감독 계층을 두는 방식이죠. 다만 엔비디아 실험은 메모리와 감독자의 효과를 각각 떼어 측정한 절제 연구가 아니므로, 감독자 하나가 100점을 만들었다고 단정할 수는 없습니다.
벤치마크보다 중요한 건 우리 업무의 실패 루프입니다
이 결과를 제품 개발에 옮길 때의 결론은 “모든 에이전트를 멀티 에이전트로 만들자”가 아니에요. 먼저 실패가 모델의 지식 부족인지, 기억 손실인지, 도구 오류인지, 완료 판정 부재인지 분해해야 합니다. 긴 업무에서 가장 비싼 오류는 한 번의 오답보다 잘못된 상태가 다음 단계로 조용히 전파되는 일이거든요.
실제로 52개 전문 분야의 장기 문서 편집을 다룬 DELEGATE-52 연구에서는 19개 LLM을 시험했고, 프런티어 모델도 작업이 끝날 때 문서 내용의 평균 25%를 손상시켰다고 보고했습니다. 도구 사용만 추가해도 성능이 개선되지 않았으며 문서 크기, 상호작용 길이, 방해 파일이 늘수록 손상이 심해졌어요. 도구를 연결한 것만으로는 신뢰할 수 있는 에이전트가 되지 않는다는 반례입니다.
그러니 에이전트 성능표에는 성공률만 두면 부족합니다. 완료율, 사람 개입 횟수, 같은 실패의 반복률, 검증 실패 후 복구율, 완료 건당 토큰·시간·비용을 함께 보세요. ARC-AGI-3의 RHAE도 완료와 행동 효율을 동시에 측정하고, 환경을 바꾸지 않는 내부 추론이나 도구 호출은 행동 수에 포함하지 않습니다. 서비스 비용까지 판단하려면 벤치마크 점수와 별도로 모델 호출량과 실행 시간을 기록해야 해요.
우리 에이전트에 하네스 설계를 적용하는 4단계
1. 실패 재현 세트부터 고정하세요
실제 업무에서 실패한 사례 20~50개를 모아 입력, 기대 결과, 허용 오차를 저장하세요. 코드 작업은 테스트 통과율과 변경 범위, 리서치는 출처 유효성, 데이터 작업은 스키마와 행 수처럼 기계적으로 판정할 기준을 붙입니다. 모델·프롬프트·하네스를 바꿀 때마다 같은 세트를 다시 돌려야 개선인지 우연인지 구분할 수 있어요.
2. 메모리를 ‘대화 전문’과 ‘작업 원장’으로 나누세요
전체 대화는 압축 가능한 참고 기록으로 두고, 목표·확정 사실·시도한 접근·실패 이유·생성 파일·남은 작업은 JSON이나 데이터베이스 레코드처럼 구조화해 별도로 보존하세요. 컨텍스트가 차면 오래된 메시지를 무작정 삭제하지 말고, 작업 원장의 필수 항목이 남았는지 검사한 뒤 요약하세요. 민감정보와 자격증명은 원장에 기록하지 않습니다.
3. 감독자의 개입 조건을 숫자로 정하세요
“필요하면 도와줘” 대신 같은 오류 2회, 진척 없는 도구 호출 5회, 예상 비용의 80% 도달, 테스트 실패 3회처럼 트리거를 정합니다. 감독자는 작업을 대신하지 않고 현재 가설, 실패 기록, 남은 예산을 읽어 계속·전략 변경·사람 호출·중단 중 하나를 반환하게 하세요.
4. 모델 교체 전에 하네스 절제 테스트를 돌리세요
기본형에서 메모리 유지, 압축, 외부 검증기, 감독자를 하나씩 추가하며 완료율과 비용 변화를 기록하세요. 여러 기능을 한꺼번에 켜면 어느 요소가 효과를 냈는지 알 수 없습니다. 마지막에만 모델을 바꿔 같은 테스트를 반복하면 모델 효과와 시스템 효과를 분리해 볼 수 있어요.
