2026년 Q1, 미국 법원이 AI 환각으로 $145,000 이상의 제재금을 부과했어요. 변호사 한 명은 제출한 63개 인용문 중 57개에 결함이 있었고, 그 중 20개는 아예 존재하지도 않는 판례였어요.
그리고 이 이야기는 변호사들만의 문제가 아니에요.
다들 RAG 쓰면 된다더니
현재 기업들이 AI 환각에 대응하는 방법은 대부분 이래요. RAG(검색 증강 생성)로 최신 데이터를 주입하거나, 파인튜닝으로 도메인 지식을 학습시키거나, 시스템 프롬프트에 "틀리지 마세요"를 강조하는 거죠.
근데 이게 근본 해결책이냐 물어보면 — 아니에요. AI 언어 모델은 태생적으로 확률적이에요. "다음에 올 말은 뭘까?"를 통계적으로 예측하는 구조라, 원칙적으로 틀릴 수 있어요. RAG도 마찬가지예요 — 올바른 문서를 찾아왔다고 해도 그걸 해석하는 단계에서 환각이 일어날 수 있어요.
세금 신고, 법적 조언, 신약 임상 데이터 해석 같은 영역에서 "95% 정확도"는 충분하지 않아요. 나머지 5%가 오류면 소송이거든요.
수학 증명은 어떻게 다른 건데?
여기서 Pramaana Labs가 다른 접근을 택했어요. 인도 IIT Madras 출신 세 명의 공동 창업자가 2025년 9월에 설립한 이 스타트업은 LEAN이라는 수학 증명 언어를 AI 위에 덮는 방법을 택했어요.
LEAN은 원래 수학자들이 정리를 증명할 때 쓰는 오픈소스 언어예요. 2013년 Microsoft Research에서 개발됐고, 지금은 복잡한 수학 문제를 기계가 검증할 수 있도록 형식화하는 데 써요. 어떤 명제가 논리적으로 참인지 아닌지를 수학적으로 증명하는 거예요.
Pramaana의 아이디어는 이거예요. 세금법, 의약품 규정, 법률 조항 같은 복잡한 도메인 규칙을 LEAN으로 형식화하면, AI의 출력이 이 규칙을 수학적으로 위반하는지 체크할 수 있어요. AI가 틀린 답변을 내놓으면 차단하는 거죠. CEO Ranjan Rajagopalan은 이렇게 말했어요.
"세상에서 가장 어려운 문제들은 풀 수 없는 게 아니에요. 형식화되지 않은 것뿐이에요."
— Ranjan Rajagopalan, Pramaana Labs CEO
기존 접근 방식과 비교하면 이렇게 달라요.
| 기존 방식 (RAG · 파인튜닝) | Formal Verification | |
|---|---|---|
| 작동 방식 | 관련 문서를 찾아와 참조 | 규칙 자체를 코드로 변환 후 검증 |
| 오류 가능성 | 해석 단계에서 환각 발생 가능 | 규칙 위반 시 수학적으로 차단 |
| 확실성 수준 | 확률적 (95% 정확 등) | 결정론적 (맞거나, 답 안 함) |
| 적합 도메인 | 대부분의 일반 업무 | 법률·세금·의료 등 고위험 도메인 |
참고로 이 접근법은 프랑스 CATALA 프로젝트에서 영감을 받았어요. CATALA는 프랑스 세금법과 복지 시스템 전체를 실행 가능한 코드로 변환한 국가 프로젝트예요. Pramaana는 이걸 AI에 결합한 거예요.
실제로 어디에 쓰이는 건데?
Pramaana가 현재 집중하는 세 영역이에요. 공통점은 "규칙이 명시되어 있고, 틀리면 결과가 심각한" 도메인이라는 거예요.
- 세금 준수
전 IRS 국세청장 Danny Werfel이 자문을 맡았어요. 세금법은 수천 페이지지만 논리적으로 형식화 가능한 영역이에요. AI가 절세 전략을 제안할 때, 그 전략이 실제 세법 조항을 위반하는지 수학적으로 검증해요. - 법률 컴플라이언스
판례법, 규정 조항, 계약 조건은 전부 형식화 가능한 규칙이에요. 2026년 Q1 기준 법원에 기록된 AI 환각 케이스가 1,353개를 넘었어요. Formal verification 레이어가 있었다면 상당수가 걸러졌을 거예요. - 신약 개발
IIT Delhi, IIT Madras, UC Berkeley 교수진이 감독해요. 임상 프로토콜과 FDA 규정을 형식화해서, AI의 약물 상호작용 분석이 수학적으로 검증된 가이드라인 안에서만 답변하도록 제한해요.
Khosla Ventures가 $27M 시드 라운드를 주도했어요. Accel, BoldCap, Nexus Venture Partners, Premji Invest, Unbound가 참여했고, Vinod Khosla 본인이 6월 10일 샌프란시스코 Verification Summit에 직접 등장했어요.
이 접근법이 뜨는 이유
Axiom Math는 수학적 증명 AI로 2026년 3월 $200M 투자에 기업가치 $1.6B을 인정받았어요. Mistral은 오픈소스 코드 검증 모델 Leanstral을 출시했고요. Formal verification이 AI 인프라의 다음 레이어로 부상하고 있어요.
내 업무에 formal verification AI가 필요한지 판단하는 법
이 체크리스트로 판단해보세요. 3개 이상 해당하면 formal verification 레이어를 진지하게 고려할 시점이에요.
- 법적 책임 확인
업무 결과에 법적 책임이 따르나요? 계약서 검토, 세무 신고, 규정 준수 업무가 여기 해당해요. - 오류 비용 계산
AI 오류 한 건이 $10,000 이상의 손실이나 소송을 유발할 수 있나요? 그렇다면 확률적 AI로는 부족해요. - 규정집 존재 여부
도메인에 명문화된 규정집이 있나요? 법령, 약전, ISO 규격서, 의료 가이드라인 등. 형식화 가능한 규칙이 있어야 formal verification이 작동해요. - 현재 검증 방식 점검
지금 AI 도구에서 나온 답변이 틀렸을 때 어떻게 대응하나요? "사람이 다시 확인한다"는 답이라면, 그 사람 시간이 곧 비용이에요. - Pramaana 등록
pramaanalabs.ai에서 베타 대기자 명단을 등록해두세요. 현재 법률·세금·신약 기업 파트너와 수직 특화 솔루션을 개발 중이에요.
