점수가 높게 뜨면, 반려 버튼부터 보입니다
외부 필자나 지원자가 보낸 원고를 AI 탐지기에 넣었더니 ‘AI 생성 가능성 98%’가 나왔습니다. 마감은 다가오고, 작성자에게 무엇을 물어봐야 할지도 애매합니다. 이때 점수를 그대로 판정으로 바꾸면 빠르기는 해도 안전하지는 않아요.
Pangram을 비롯한 AI 탐지기의 결과는 작성자를 판정하는 증거가 아니라, 어느 구간을 더 확인할지 정하는 선별 신호로 써야 합니다. 탐지기는 문장이 만들어진 과정을 보지 않고 완성된 텍스트의 패턴을 분석하기 때문이에요.
극단적인 사례도 있습니다. Fritz의 2026년 비교 기사에서는 GPTZero가 미국 헌법을 AI 작성으로, Originality.ai가 『다빈치 코드』를 100% AI 생성으로 표시했다고 전합니다. 다만 기사에는 입력 전문과 실행 시점, 제품 버전, 임계값, 결과 로그가 없어 독립적으로 재현된 벤치마크로 볼 수는 없습니다. 유명한 인간 저작물도 걸릴 수 있다는 경고 사례 정도로 읽는 편이 정확해요.
Pangram이 바꾼 것은 저작 증명이 아니라 학습 데이터입니다
Pangram은 2026년 7월 Menlo Ventures가 주도한 900만 달러 투자를 유치하며 Pangram 4와 이미지 탐지 모델을 발표했습니다. Haystack, ScOp, Script Capital, Cadenza도 투자에 참여했어요. 하지만 투자액은 제품 성능의 독립 검증과는 별개의 사실입니다.
Pangram 4의 핵심은 synthetic mirror와 hard-negative mining입니다. 먼저 인간 문서마다 주제·길이·문체가 비슷한 AI 문서를 만들어 학습 쌍으로 사용합니다. 이후 인간이 쓴 글을 AI로 잘못 분류한 사례를 다시 학습 데이터에 넣어 오탐을 줄입니다.
여기서 중요한 경계가 하나 있습니다. 이 방식은 인간 문서와 AI 문서의 통계적 차이를 더 잘 학습하는 방법입니다. 문서의 초안, 키 입력, 붙여넣기 기록이나 워터마크를 확인해 저자를 증명하는 기술은 아니에요.
제품은 문서를 Human Written, AI-Assisted, AI-Generated 구간으로 나누고 각 구간의 점수와 신뢰도, 문자 위치를 반환합니다. 모델 카드에 따르면 512토큰 중첩 창으로 문서를 분석한 뒤 문장 단위로 결과를 다듬습니다. 인접 라벨은 최소 약 두 문장 길이가 되도록 합쳐질 수 있으므로, 표시된 색상을 단어별 작성 출처처럼 해석해서도 안 됩니다.
오탐 0.0041%는 강한 결과지만 보편 법칙은 아닙니다
Pangram이 공개한 숫자는 분모까지 확인할 수 있다는 점에서 유용합니다. 다만 모두 Pangram 연구진이 정해진 평가 말뭉치에서 측정한 개발사 자체 결과예요.
| 평가 대상 | 공개 결과 | 읽을 때의 한계 |
|---|---|---|
| 영어 인간 문서 | FineWeb 100만 건 중 41건 오탐, 0.0041% | 도메인별 오탐률은 학술문 0.019%, 시 0.078%, 레시피 0.049%로 달랐음 |
| 영어 AI 생성문 | 26개 모델의 519,993건 중 1,766건 누락, 거짓음성률 0.3396% | 수학·코딩·객관식 요청은 평가에서 제외됨 |
| 한국어 평가 | 사전 2022년 FineWeb2 인간 문서 오탐률 0%, AI 생성문 거짓음성률 0.5805% | 한국어별 표본 수가 공개되지 않았고, AI 생성문은 영어 문서를 번역·미러링한 내부 합성 평가임 |
영어 인간 문서 오탐률의 95% 신뢰구간은 0.0032%~0.0050%, 영어 AI 생성문 거짓음성률의 신뢰구간은 0.3242%~0.3558%로 보고됐습니다. 모델 카드는 한국어 AI 생성문의 거짓음성률도 0.5805%로 공개하지만, 한국어별 표본 수는 제시하지 않습니다. 더구나 이 값은 영어 문서를 번역·미러링해 만든 내부 합성 평가에서 나온 결과라 실제 한국어 지원서, 짧은 광고 문구, 전문 분야 원고 전체의 정확도를 뜻하지 않아요. 공식 사이트가 한국어 지원을 명시한다는 사실과 한국어 실무 정확도가 입증됐다는 주장은 구분해야 합니다.
무료 계정으로 ‘판정’이 아닌 검토 흐름부터 시험하세요
현재 Pangram 무료 플랜은 결제수단 없이 하루 최대 2,000단어의 텍스트 검사를 제공합니다. 텍스트를 붙여넣거나 PDF·DOCX·RTF 파일을 올릴 수 있어 별도 설치는 필요하지 않아요. 처음부터 실제 제출물을 넣지 말고, AI 사용 여부를 알고 있는 내부 검증용 원고 두 건으로 결과 화면과 기록 방식을 먼저 확인해 보세요. 두 원고의 합계를 2,000단어 안으로 맞추기 어렵다면 하루에 한 건씩 나눠 검사하면 됩니다.
- 업로드 권한과 분량부터 확인합니다.
개인정보와 기밀정보를 제거한 ‘사람이 직접 쓴 원문’ 한 건과 ‘사람이 쓴 글을 AI로 가볍게 다듬은 원고’ 한 건을 준비하세요. 같은 날 검사하려면 두 원고의 합계를 2,000단어 이내로 맞추고, 넘는다면 날짜를 나눕니다. 외부 서비스에 올릴 권한이 불명확하면 검사를 진행하지 않습니다. - Pangram 공식 페이지에서 무료 계정으로 로그인하고 Text Detection을 선택합니다.
원고 전문을 붙여넣거나 지원 파일을 업로드해 검사를 실행하세요. Pangram 4는 완전한 문장으로 된 산문을 최소 50단어 입력하도록 안내합니다. - 전체 점수보다 표시된 구간을 확인합니다.
Human Written·AI-Assisted·AI-Generated 라벨, 구간별 신뢰도와 위치를 기록합니다. API를 연결한다면 응답의 구간별 점수와 문자 위치도 보관할 수 있어요. - 플래그된 구간을 별도 증거와 대조합니다.
초안과 버전 기록, 인용 원문, 출처 불일치, 이전 작업과의 급격한 문체 변화를 확인하세요. 점수와 독립 증거는 기록에서도 분리합니다. - 설명이 필요한 부분만 작성자에게 묻습니다.
해당 구간을 어떤 순서로 작성·편집했는지 설명하고 이전 초안을 제시할 기회를 주세요. 검사일, 모델 버전, 입력 범위, 구간 결과와 최종 판단 근거도 함께 남깁니다.
첫 시험의 성공 기준은 두 원고를 완벽히 맞히는 것이 아닙니다. 담당자가 탐지 점수와 별도 증거를 구분해 기록하고, 어떤 결과가 사람의 추가 검토를 촉발하는지 합의할 수 있으면 첫 흐름이 만들어진 거예요.
탐지기 두 개보다 독립적인 증거 하나가 낫습니다
서로 다른 탐지기를 두 개 돌려 같은 결과가 나왔다고 저작 여부가 입증되는 것은 아닙니다. 두 제품이 비슷한 텍스트 특성에 의존한다면 같은 글에서 함께 틀릴 수도 있기 때문이에요. 14개 탐지기를 비교한 동료심사 연구도 도구와 문서 변형에 따라 성능 차이가 컸으며, 결과를 학문적 부정행위의 증거로 사용하기에 부적합하다고 결론 냈습니다. 다만 이 연구는 2023년의 영어 표본 54건을 사용했고 Pangram 4는 포함하지 않았습니다.
글래스고대학교의 2026년 지침은 AI 탐지 점수를 조사 근거로 삼는 대신 이전 초안, 작성자의 진술, 존재하지 않거나 맞지 않는 출처 등 전체 증거를 살피도록 안내합니다. 콘텐츠 운영에서도 같은 원칙을 적용할 수 있어요.
검토 기준을 이렇게 나누면 됩니다.
- 편집 우선순위가 목적이라면 탐지 결과로 사람이 먼저 볼 구간을 고릅니다.
- 반려·채용 취소·징계처럼 영향이 큰 결정이라면 초안과 출처, 작성자 설명 없이 점수만 사용하지 않습니다.
- 업로드 권한이나 개인정보 처리 기준이 없다면 탐지기 사용보다 내부 절차를 먼저 정합니다.
- 한국어·전문 분야·짧은 문서가 주 입력이라면 실제 문서 분포로 내부 기준선을 만든 뒤 사용 범위를 정합니다.
Pangram 4의 진전은 더 구체적인 평가 수치와 혼합 저작 구간을 제공한다는 데 있습니다. 그래도 탐지기가 답하는 질문은 “이 텍스트가 어떤 패턴과 닮았나”까지예요. “누가 어떤 과정으로 썼나”에 답하려면 초안, 버전 기록, 출처와 작성자의 설명이 필요합니다.
