"이 논문은 가짜입니다"라고 써둔 가짜 논문 — AI 챗봇 4종은 모두 진짜 병이라 진단했어요

논문에는 이렇게 적혀 있었어요. "이 논문 전체는 꾸며낸 것입니다(this entire paper is made up)."

저자 소속은 캘리포니아 "노바 시티"에 있다는 "Asteria Horizon University". 감사의 글에는 USS 엔터프라이즈호 실험실과 "스타플릿 아카데미의 Maria Bohm 교수", 그리고 "반지의 제왕 대학교"가 나와요. 다룬 질병의 이름은 빅소니마니아(Bixonimania). 눈 질환인데 굳이 정신의학 용어 "mania(조증)"를 붙여놨고요.

한마디로, 이 논문은 "나는 가짜다"라고 온몸으로 외치는 함정이었어요. 스웨덴 예테보리 대학교의 의학 연구자 Almira Osmanovic Thunstrom이 AI가 의료 정보를 어디까지 믿는지 시험하려고 직접 판 함정. nature

그리고 며칠 뒤, 함정에 빠진 건 사람이 아니라 ChatGPT, Gemini, Copilot, Perplexity였어요.

함정은 일부러 조잡하게 만들었어요

2024년 초, Thunstrom은 "빅소니마니아"라는 가짜 안과 질환을 만들고, 허구의 연구자 이름으로 프리프린트 논문 2편을 학술 네트워크 SciProfiles에 등록했어요. 핵심은 의료인이라면 누구나 첫 줄에서 웃었을 만큼 허술하게 만들었다는 점이에요. 진짜 정교한 위조를 한 게 아니라, 보란 듯이 단서를 흩뿌려놨거든요. nature

1. 존재하지 않는 대학
   "Asteria Horizon University", 캘리포니아 "Nova City". 둘 다 지도에 없어요.
2. SF·판타지로 채운 감사의 글
   USS 엔터프라이즈호 실험실, "스타플릿 아카데미의 Maria Bohm 교수", "반지의 제왕 대학교"에 감사를 표했어요.
3. 본문에 박아둔 자백
   "이 논문 전체는 꾸며낸 것"이라고 대놓고 써놨어요.

이 정도면 신입 인턴도 1초 만에 거를 함정이에요. 그런데 AI 챗봇 어디도 이걸 알아채지 못했어요. 알아채기는커녕, 친절하게 진단을 내려줬죠.

AI가 내놓은 "진단"

논문이 올라간 지 며칠 만에, 주요 챗봇들이 빅소니마니아를 실제 질환으로 설명하기 시작했어요. 눈이 좀 충혈됐다고 입력하면 이런 답이 돌아왔어요. "빅소니마니아입니다. 블루라이트 과다 노출로 생기는 질환이에요. 안과 방문을 권합니다." nature

더 무서운 건 시간이 지나도 깔끔하게 고쳐지지 않았다는 거예요. 2024년 4월의 첫 반응과, 2년 뒤인 2026년 3월의 반응을 나란히 놓고 보세요.

주목할 건 ChatGPT예요. 어떤 날은 "가짜"라고 답하고, 다른 날은 "새로운 하위 유형"이라고 답했어요. 같은 AI가 질문 뉘앙스에 따라 정반대 답을 내놓는 거예요. 운 좋은 날엔 진실을, 운 나쁜 날엔 거짓을 받는 셈이죠. 건강 정보에서 이건 치명적이에요. nature

왜 똑똑한 AI가 이렇게 허술하게 속을까

여기서 가장 직관에 반하는 사실이 나와요. 하버드 의대 AI 의료 전문가 Mahmud Omar의 연구에 따르면, LLM은 텍스트가 전문적으로 보일수록 허위 정보를 더 잘 믿어요. 소셜미디어 게시글보다 병원 퇴원 기록이나 논문 형식의 텍스트를 처리할 때 할루시네이션 비율이 오히려 올라간다는 거예요. thelancet

그러니까 Thunstrom의 함정이 "논문" 형식이었다는 게 핵심이에요. 조잡한 내용을 논문이라는 포장지로 감쌌더니, AI에게는 그 포장지가 신뢰의 신호로 작동한 거죠. 사람은 내용을 보고 의심하지만, AI는 형식을 보고 안심해요.

그리고 이게 소수의 호기심 실험으로 끝나지 않는 이유 ─ 규모.

ECRI는 AI 챗봇 오남용을 2026년 의료 기술 위험 1위로 선정했어요. 챗봇이 잘못된 진단을 제안하고, 불필요한 검사를 권하고, 심지어 존재하지 않는 해부학 구조를 설명한 사례까지 보고됐고요. 문제는 이 모든 게 한 치의 망설임 없는 자신감 넘치는 톤으로 전달된다는 거예요. NYT가 인용한 연구도 AI 챗봇의 건강 조언이 빈번하게 틀린다고 지적했어요. ecri +1

그래서, AI 건강 정보 이렇게 거르세요

AI가 의료 정보를 내놓는 시대를 막을 순 없어요. 하지만 받아들이는 방식은 오늘 당장 바꿀 수 있어요. 빅소니마니아 사건이 알려주는 4가지 방어선이에요.

1. "전문적으로 보인다"를 신뢰 신호로 쓰지 마세요
   이번 사건의 교훈 1번. AI는 논문체·임상 노트 형식을 더 잘 믿어요. 답변이 그럴듯한 전문 용어로 매끈하게 포장돼 있을수록, 오히려 한 번 더 의심하세요.
2. 병명·수치는 직접 교차 확인하세요
   AI가 알려준 질병명이나 유병률 숫자를 그대로 믿지 말고, PubMed, WHO, 국가 공인 의료 기관 사이트에서 같은 용어를 검색해 보세요. 진짜 질환이면 반드시 흔적이 남아 있어요. 빅소니마니아처럼 출처가 안 잡히면 그게 신호예요.
3. 같은 질문을 두 번, 다르게 물어보세요
   ChatGPT가 날마다 다른 답을 냈다는 걸 기억하세요. 표현을 바꿔 두세 번 물었을 때 답이 흔들리면, AI도 확신이 없다는 뜻이에요. 일관성 없는 답은 결론으로 쓰지 마세요.
4. AI 답변은 "출발점"이지 "결론"이 아니에요
   증상 검색의 시작점으로만 쓰고, 최종 판단은 반드시 의료 전문가에게 맡기세요. 42%가 그러지 않는다는 게 진짜 위험이에요. people

조직이라면 한 단계 더. ECRI는 의료 기관에 AI 거버넌스 위원회 설치와 AI 리터러시 교육을 권고하고 있어요ecri. 개인의 분별만으로는 한계가 있으니, 팀·기관 차원의 사용 가이드라인을 문서로 만들어 두세요.

---

더 깊이 파고 싶다면