TypeSafe라는 AI 회사가 9월 15일에 Jev라는 모델을 내놨어요. Jev는 글을 쓰지 않고 판정만 하는 모델이에요. 보기 중 하나를 고르거나, 점수를 매기거나, 예나 아니오로 답해요. TypeSafe는 보안 사고 대응, 청구서 처리, 고객 상담 같은 업무 흐름 네 개를 여러 모델에 똑같이 맡겨 매긴 순위표도 평가 페이지에 함께 공개했어요.
그 순위표에서 Jev는 판정 한 번을 몇 분의 1센트로 해냈어요. 그런데 그 점수를 매길 때 무엇을 정답으로 놓았는지 따라가 보면, 판정 모델을 고를 때 먼저 봐야 할 것은 모델 값이 아니라 정답지라는 사실이 드러나요.
TypeSafe의 판정 모델 Jev는 판정 한 건에 0.0004달러로, Claude Sonnet 5와 같은 점수 67.8%를 냈어요
순위표의 점수는 업무 흐름 네 개의 평균이에요. Jev와 Claude Sonnet 5를 나란히 놓으면 이래요.
| 모델 | 점수(업무 흐름 네 개 평균) | 판정 한 건에 든 값 | 판정 한 건에 걸린 시간 |
|---|---|---|---|
| Jev | 67.8% | 0.0004달러 | 0.4초 |
| Claude Sonnet 5 | 67.8% | 0.1174달러 | 78.1초 |
순위표에 오른 모델은 아홉 개예요. Jev보다 점수가 높은 모델은 GPT-5.6 Sol(74.1%), Claude Opus 5(73.1%), GPT-5.6 Terra(67.9%) 셋이고, 이 세 모델은 판정 한 건에 각각 0.0836달러, 0.1761달러, 0.0304달러가 들었어요. Jev는 그다음 자리에 Claude Sonnet 5와 같은 점수로 있고, 아홉 모델 가운데 가장 싸고 가장 빨라요. 출시 글에 적힌 값은 입력 토큰 100만 개에 0.042달러이고, 출력 토큰에는 값을 받지 않아요. AI에게 판정을 맡기는 비용이 거의 0이 된 셈이에요.
그런데 그 67.8%는 사람이 정한 정답과 맞춘 비율이 아니라, 순위표에 없는 AI 모델 둘이 낸 답과 같은 답을 낸 비율이에요
67.8%가 무엇과 맞춘 비율인지는 같은 페이지의 채점 방법 설명에 나와 있어요.
"Instead of debating the correctness of the harness and labels, we assume that the code is correct, and measure against the current smartest large models. For this eval, the reference labels are generated via an average of the responses of GPT-6 Astra and Claude Fable 5.1, both at high thinking, answering every question in the harness."
TypeSafe AI, Workflow evals, 「How we evaluate」
TypeSafe는 정답을 사람에게 정하게 하지 않았어요. GPT-6 Astra와 Claude Fable 5.1이 모든 질문에 답했고, 두 모델의 답을 평균한 것을 정답으로 삼았어요. 그리고 이 두 모델은 순위표에 없어요. 그러니 67.8%는 사람이 정한 정답을 맞힌 비율이 아니라, TypeSafe가 지금 가장 똑똑하다고 본 두 모델과 같은 답을 낸 비율이에요.
TypeSafe도 이렇게 매긴 점수가 어느 쪽으로 기우는지 출시 글의 주석에 적어 뒀어요. 두 모델의 평균을 정답으로 잡으면 OpenAI와 Anthropic 모델에 유리하고, Jev와 DeepSeek 모델의 성능은 실제보다 낮게 나왔을 것이라고요.
Jev로 만든 프로젝트 194개 가운데 답이 맞았는지 숫자로 적은 건 셋이었고, AI가 낸 답이 아닌 정답과 맞춰 본 건 둘뿐이었어요
Jev로 만든 프로젝트를 골라 모아 두는 jevable.com이라는 사이트가 있어요. 9월 21일에 이 사이트의 공개 API가 돌려준 프로젝트는 194개였어요. 소개 글에 달러 금액을 적은 것이 27개, 걸린 시간을 적은 것이 33개였고, 답이 맞았는지를 숫자로 적은 것은 세 개였어요.
| 만든 것 | 적어 둔 결과 | 무엇을 정답으로 놓았나 |
|---|---|---|
| 사기 메일 판별 | 100통 중 96통 맞힘. 애매한 메일은 다른 모델에 넘긴 전체 파이프라인의 결과 | 정답을 미리 아는 이메일 100통 |
| Postgres 질의 계획기 | 질의가 12% 빨라짐 | 벤치마크에서 질의가 실제로 걸린 시간 |
| 건설 도면 분류 | 100% 일치 | GPT-4.1과 GPT-6 Astra가 낸 답 |
사기 메일 판별과 질의 계획기는 AI가 낸 답이 아닌 곳에서 정답을 가져왔어요. 건설 도면 분류는 순위표와 같은 방식으로, 다른 AI 모델이 낸 답을 정답으로 삼았어요.
같은 목록에 있는 jevcal이라는 도구는 소개 글을 "Everyone picks Jev confidence thresholds by vibes. 0.95? 0.5?"로 시작해요. Jev가 판정과 함께 내는 확신도 점수가 몇 이상일 때 그 판정을 믿을지, 다들 감으로 정한다는 말이에요. jevcal은 자기 데이터를 넣고 원하는 정확도를 말하면 그 기준값을 정해 준다고 소개해요. 출시 나흘 동안의 트윗을 모아 분석한 OpenChamber의 글도 같은 질문을 다뤘어요. 0.95라는 점수가 내 업무에서 실제로 95% 맞는다는 뜻인지는 점수만 봐서는 알 수 없고, 정답이 붙은 예시와 맞춰 봐야 안다고 적었어요.
Red Hat이 정답이 미리 붙은 공개 데이터로 다시 비교하자, Jev의 순위는 과제에 따라 1위와 4위로 갈렸어요
Red Hat의 Rob Geada, Mac Misiura, Shelton Cyril은 10월 2일 Red Hat Developer에 Jev 같은 판정 모델을 기존 AI 안전장치(가드레일)와 비교한 글을 올렸어요(10월 5일 갱신). 과제는 AI를 속이는 지시문(프롬프트 주입)을 막는 일과 유해 콘텐츠를 걸러내는 일, 두 가지였어요. 세 사람은 안전장치를 네 계열, 아홉 가지 방식으로 만들고, 위험한 문장과 안전한 문장에 정답이 미리 붙어 있는 공개 데이터셋을 각 방식에 넣어 판정하게 했어요. 데이터는 위험과 안전이 반반이고, 각 방식이 막을지 말지 내린 판정을 데이터셋의 정답과 비교했어요.
| 과제 | 순위 | 방식 | 정확도(accuracy) |
|---|---|---|---|
| 프롬프트 주입 막기 | 1위 | Qwen3.6-35B (일반 모델에게 판정을 맡긴 방식) | 89.31% |
| 프롬프트 주입 막기 | 2위 | Red Hat 사전학습 분류기 (파라미터 2억 개) | 89.01% |
| 프롬프트 주입 막기 | 4위 | Jev | 86.35% |
| 유해 콘텐츠 거르기 | 1위 | Jev | 86.20% |
| 유해 콘텐츠 거르기 | 2위 | DiffusionGemma | 85.53% |
| 유해 콘텐츠 거르기 | 3위 | Qwen3.6-35B | 85.47% |
속도에서도 Jev가 앞서지 않았어요. 프롬프트 주입 막기에서 Red Hat 분류기의 지연은 54.1밀리초였고, Jev는 348.1밀리초였어요. 세 사람은 판정 모델이 일반 모델에게 판정을 맡기는 방식보다 더 빠르거나, 더 싸거나, 더 좋은 답을 낸다는 결과를 찾지 못했다고 적었어요.
"we did not find that decision models produced faster, cheaper, or higher-quality answers compared with LLM-as-a-judge."
Rob Geada·Mac Misiura·Shelton Cyril, Red Hat Developer
이 비교에도 한계가 있어요. 세 사람은 시험을 영국에서 돌렸고, 미국에 있는 Jev API와 Red Hat 클러스터까지 오가는 데 최소 약 56밀리초가 더 붙었다고 직접 적었어요. 과제는 둘뿐이고, 영어 문장만 썼어요. 그리고 2위에 오른 사전학습 분류기는 Red Hat이 자기 제품인 OpenShift AI 3.6에 기본 안전장치로 싣는 모델이에요.
TypeSafe 순위표에서 Jev는 아홉 모델 가운데 세 모델 다음 자리에 Claude Sonnet 5와 같은 점수로 있었고, 그 순위표의 정답은 AI 둘이 낸 답이었어요. Red Hat 비교에서는 정답이 데이터셋에 처음부터 붙어 있던 라벨이었고, Jev는 유해 콘텐츠 거르기에서 1위, 프롬프트 주입 막기에서 4위였어요. 두 순위표는 과제도 달라서, 순위가 달라진 이유를 정답지 하나로 돌릴 수는 없어요. 다만 정답을 누가 정했는지가 바뀐 비교에서, 출시 글이 내건 '비슷한 성능을 훨씬 싸고 빠르게'라는 주장은 Red Hat의 비교에서 확인되지 않았어요.
판정 한 건 값이 0.0004달러면 되는 지금, 판정 모델을 고를 때 먼저 따질 건 모델 값이 아니라 내 일에 정답지가 있느냐예요
TypeSafe는 출시 글에서, 순위표의 정답을 낸 GPT-6 Astra와 Claude Fable 5.1을 다른 회사가 만든 모델 가운데 가장 크고, 가장 똑똑하고, 가장 비싼 모델이라고 소개해요. 순위에 오른 모델은 모두 각 회사의 기본 설정으로 답했고, 정답을 낸 두 모델만 생각을 길게 하는 설정으로 답했어요.
판정 한 번을 0.4초와 0.0004달러로 해내는 모델을 파는 회사도, 그 판정을 채점할 정답은 가장 비싼 모델 둘에게 생각을 길게 하게 해서 만들었어요. 정답이 미리 붙은 데이터를 가진 Red Hat이 같은 모델을 다시 비교하자, 순위는 과제마다 달라졌어요.
판정 한 건에 0.0004달러면 되는 모델까지 나온 지금, 판정 모델을 고르는 사람이 먼저 따질 것은 모델 값보다, 그 판정이 내 일에서 맞았는지 가려 줄 정답지가 있느냐예요.
