Loading...

방법 · AI 에이전트로 옛 기록 보관소 뒤지기

엔지니어 한 명이 AI 에이전트에게 옛 문서와 신문을 뒤지게 했더니, 운석 목록 6종 어디에도 없던 1812년 운석 낙하 기록이 나왔어요

디지털로 옮겨 둔 옛 문서 더미와 질문 하나를 AI 에이전트에게 주면, 에이전트가 뜻으로 검색해 후보 구절을 추리고 읽고 번역한 뒤 원본 스캔과 맞대어 봐요. 한 소프트웨어 엔지니어는 이렇게 옛 문서와 신문을 뒤져, 그가 대조한 운석 목록 6종 어디에도 없던 1812년 운석 낙하 기록을 찾았어요. 역사학자 Benjamin Breen은 동인도회사 문서에서, 도도새 목격 연표에 비어 있던 1611~16년에 들어갈 도도새 사냥 기록을 찾았어요. 두 사람의 발견 모두 아직 전문가 확인 전이에요. 스캔 한 장으로 217년 동안 못 읽던 암호 편지를 읽어 낸 사람도 있어요. 사례를 모아 봤어요.

2026.10.13·사례 3

1812년 Java Government Gazette 지면 일부. 코쿠르가움 마을 근처에 천둥 구름에서 돌이 떨어졌다는 편지가 실린 기사
1812년 12월 19일 자 Java Government Gazette 3면이에요. Waites가 대조한 운석 목록 6종 어디에도 없던 운석 낙하 기록이 실려 있어요. 원본 지면은 Delpher(네덜란드 왕립도서관)에 있어요. 출처: Jesse Waites 블로그

맨 위 지면은 1812년 12월 19일 자 Java Government Gazette 3면이에요. 그해 8월 봄베이 신문에 실렸던 편지를 다시 옮겨 실은 기사인데, 이렇게 적혀 있어요. "a stone precipitated from a Thunder-cloud near the village of Cokurrgaum three days ago (the 6th August). It weighs I should think four pounds at least(사흘 전인 8월 6일, 코쿠르가움 마을 근처에서 천둥 구름에서 돌 하나가 떨어졌다. 무게는 적어도 4파운드는 될 것 같다)". 소프트웨어 엔지니어 Jesse Waites가 AI 에이전트와 함께 동인도회사 문서와 옛 신문을 뒤지다 찾은 기사예요. 그가 대조한 운석 목록 6종 어디에도 이 낙하 기록은 없었어요.

지난 몇 주 사이 이런 발견이 잇달아 공개됐어요. 9월 30일에는 AI 엔지니어 Carter Church가 GPT-6 Astra로 217년 동안 풀리지 않던 나폴레옹 군 암호 편지를 읽어 냈다고 X에 올렸고, 이 글은 조회 538만 회를 넘겼어요. 10월 1일에는 역사학자 Benjamin Breen이 Opus 5.5 에이전트로 찾은 1615년 도도새 사냥 기록을 공개했어요. 일주일 뒤 Waites의 운석 글은 Hacker News에서 184점을 받았어요.

Waites가 쓴 순서는 이래요. 옛 문서를 뜻으로 검색할 수 있게 색인(임베딩)을 만들어 후보 구절을 넓게 추리고, 값싼 모델로 거른 뒤, 큰 모델이 읽고 번역해 원본 스캔과 맞대어 봐요. Breen은 임베딩 검색으로 뽑은 후보에 큰 모델이 순위를 매기게 하고, 그 목록을 직접 검토했어요. 두 사람 모두 질문을 세우고 무엇이 새로운 발견인지 가리는 일은 직접 했어요.

Reference 01보스턴의 소프트웨어 엔지니어 Jesse Waites · 개인 블로그. Waites가 공개한 Antiquity 소개 글에는 이 작업을 자기 사례로 들어 맞춤 AI 문서 분석 의뢰를 받는 회사 JTPCK의 안내가 붙어 있어요. Waites가 JTPCK와 어떤 관계인지는 공개되지 않았어요.

동인도회사 문서 435만 쪽을 GPU 한 대로 하룻밤에 색인하고 옛 신문까지 뒤져, 목록에 없던 운석 낙하·코뿔소·화산 분화 기록을 찾았어요

Waites는 Breen의 도도새 글을 읽고 "I can do this(나도 할 수 있겠다)"라고 생각했어요. 그래서 먼저 Deep Research 도우미에게 온라인에 이미 있는 자료로 풀릴 만한 역사 질문이 무엇인지 물었고, 후보 13개를 받았어요. 그다음 Claude Code와 함께 파이프라인을 짰어요. 임베딩으로 색인하고, 뜻으로 검색하고, 작은 판정 모델 Jev로 거르고, Claude Haiku가 번역하며 날짜와 장소를 뽑고, Claude Code 에이전트가 원본 스캔과 대조한 뒤 학계가 정리한 운석·화산 목록과 맞춰 보는 순서예요.

네덜란드 동인도회사 문서 435만 쪽, 570만 구절을 GPU 한 대로 12시간 밤새 돌려 색인했어요. 사람이 하루 8시간, 주 5일, 한 쪽에 2분씩 읽는다고 치면 약 70년 걸리는 분량이라고 Waites는 셈했어요. 거르는 단계도 쌌어요. 동물 기록을 찾던 검색에서 코끼리가 나오는 구절 59,000건이 걸렸는데, 이것을 Jev에게 읽혀 거르는 데 약 3달러가 들었어요. 운석을 찾을 때는 'a heavy stone fell from the sky with a loud report(큰 소리와 함께 무거운 돌이 하늘에서 떨어졌다)' 같은 문장으로 검색했다고 JTPCK 사례 소개 페이지에 적혀 있어요.

본격적으로 찾기 전에는 이미 알려진 사건을 먼저 다시 찾게 했어요. Breen의 도도새 기록, 1783년 라키 화산 분화, 1815년 탐보라 화산 분화가 걸려 나오는지 보고 검색이 제대로 되는지 확인했어요.

결과는 셋이에요. 첫째는 맨 위 지면의 1812년 운석 낙하 기록이에요. 이 기록은 동인도회사 문서가 아니라 옛 신문에서 나왔어요. Waites는 동인도회사 문서와 함께 옛 신문 기사도 뒤졌고, 운석 기사는 그 가운데 Java Government Gazette에 실려 있었어요. 원본 지면은 네덜란드 왕립도서관의 옛 신문 열람 서비스 Delpher에서 볼 수 있어요. 운석 목록 6종에 없고, 확인되면 코쿠르가움이 있는 인도 마하라슈트라에서 지금까지 가장 이른 운석 낙하 기록보다 26년 앞서요.

둘째는 1738~1740년 스리랑카 캔디 왕에게 선물로 보낸 자바코뿔소 세 마리예요. 1738년에 한 마리, 1740년 Loverendaal 호로 두 마리를 보냈는데 모두 도착하기 전에 죽었어요. Waites는 자신이 대조한 코뿔소 기록 목록에서 이 배송 기록을 찾지 못했어요. 셋째는 화산 분화예요. 분화 보고 769건을 걸러 보니, 스미소니언 화산 목록에 없는 분화 3건이 남았어요. 1722년 2월 Gamkonora, 1712년 초 Ciremai, 1780년 2월 Slamet이에요. 코뿔소와 화산 기록의 원본은 네덜란드 국립문서보관소의 동인도회사 문서예요.

세 결과 모두 아직 전문가의 검토를 받지 않은 후보예요. Waites는 운석 큐레이터, 코뿔소 연구자 Kees Rookmaaker, 화산학자에게 연락해 답을 기다리고 있어요. 어느 화산이었는지 아직 밝혀지지 않은 1808~09년의 대분화도 찾으려 했지만, 바타비아(지금의 자카르타)에서 최초의 신문에 실린 기사 633건을 전부 읽히고도 관련 기록을 찾지 못했어요.

Waites가 Deep Research 도우미에게 보낸 질문

which open historical questions are most likely to be solvable with data that already exists online?

Jev가 동물 언급을 거를 때 던진 질문

Is this a real animal? Is it wild? Where is it?

찾는 대상에 맞게 세 질문을 바꿔요. 수만 건의 언급 가운데 실제 기록만 남기는 데 쓰였어요.

Reference 02UC 산타크루즈 역사학 부교수 Benjamin Breen · Res Obscura(Substack)

동물 멸종 책을 쓰던 역사학자가 Opus 5.5 에이전트에게 동인도회사 문서를 뒤지게 하자, 도도새 목격 연표에서 비어 있던 1611~16년 사이의 1615년 사냥 기록이 나왔어요

Breen은 동물 멸종 책의 도도새 장을 준비하면서 Opus 5.5 에이전트에게 GLOBALISE의 동인도회사 문서를 뒤지게 했어요. GLOBALISE는 네덜란드 연구 기관들이 동인도회사의 손글씨 문서를 AI로 옮겨 적어 무료로 공개하는 사업이에요. GPT-6도 함께 썼어요. Breen의 설명에 따르면 Opus 5.5 같은 에이전트는 자기와 같은 에이전트를 여러 개 띄워 여러 언어로 된 사료를 나눠 읽고, API 키를 주면 임베딩 검색도 직접 돌려요. 이번 작업에서는 에이전트가 열두 개 안팎까지 늘어났어요.

에이전트가 찾은 구절은 1615년 4월 Wapen van Amsterdam 호의 항해일지에 있었어요. 선원들이 모리셔스에서 "caught many tortoises, dodos [dodeersen], and some geese and parrots(육지거북과 도도새를 많이, 거위와 앵무새도 몇 마리 잡았다)"라고 적은 기록이에요. 원본은 네덜란드 국립문서보관소의 동인도회사 문서예요. 그동안 도도새 목격 연표에는 1611~16년 기록이 비어 있었고, Breen은 이 구절을 그 자리에 들어갈 새 기록으로 보고 "I do think that this is a publishable result(논문으로 낼 만한 결과라고 본다)"라고 적었어요. 그는 댓글에서도 1615년 4월 구절은 자신이 아는 한 그전에 보고된 적이 없다고 밝혔어요.

이미 알려진 기록도 원본에서 다시 읽었어요. 1638년 문서의 'velthoenderen'(붉은뜸부기로 보이는 새)이 1890년 프랑스 학자의 번역에서 'perdrix'(자고새)로 옮겨져 있었는데, Opus 5.5가 원본 필사본으로 돌아가 이 번역을 바로잡았어요. 1615년 구절도, 이 번역 바로잡기도 아직 해당 분야 전문가의 정식 검토를 거치지 않았어요.

Reference 03SentinelOne의 AI 엔지니어 Carter Church · 개인 사이트

스캔 한 장을 GPT-6 Astra에게 주고 약 6시간 돌려, 217년 동안 못 읽던 나폴레옹 군 암호 편지를 읽어 냈어요

문서 더미를 뒤진 일이 아니라, 아무도 읽지 못한 문서 한 통을 읽어 낸 사례예요. Church는 1969년 프랑스 군 학술지에 실린 마르몽 장군 앞 암호 편지의 스캔 한 장을 GPT-6 Astra에게 주고 약 6시간 돌렸어요. 에이전트는 이 스캔 한 장만 보고 글자를 옮겨 적는 일부터 해독까지 해냈어요. 그는 "I spent six hours of model time and a few evenings of my own(모델 시간 6시간과 내 저녁 몇 번을 썼다)"이라고 적었어요.

편지는 암호 단위 1,300개로 돼 있었고, 쓰인 기호는 155종이었어요. 그전에 공개된 기호 뜻은 33개뿐이었고, 그것으로 읽을 수 있는 자리는 1,300단위 가운데 435단위였어요. 나머지 약 3분의 2는 에이전트가 편지 자체에서 풀어냈어요. 편지 전문을 프랑스어와 영어로 읽어 냈고, 1969년 재수록본에 잘못 적혀 있던 날짜도 1809년 3월 말로 바로잡았어요.

해독 키(key.tsv), 옮겨 적은 암호문, 검증 스크립트(verify.py·reproduce.py)를 담은 풀이 패키지도 공개해서 누구나 다시 돌려 확인할 수 있어요. 이스라엘 매체 Calcalist는 암호 연구 사이트 Cryptiana의 운영자 Satoshi Tomokiyo가 이 암호를 '해결됨'으로 표시했다고 전했어요.

써 본 사람들의 평

좋았다는 평

  • “The agents doing the grunt reading while you decide what matters feels like the actual division of labor.”

    에이전트가 고된 읽기를 맡고 사람은 무엇이 중요한지 정하는 것이 진짜 역할 분담 같다고 했어요.

    Rohan Jaiswal · Breen 글 댓글resobscura.substack.com
  • “For every amount of pages you have the time to read, an LLM provides a means to filter the set of pages you choose to read to a set that is more likely to be useful. It does not need to be perfect at it”

    내가 읽을 시간이 있는 만큼의 쪽을, 쓸모 있을 가능성이 더 큰 쪽으로 골라 준다며 완벽할 필요는 없다고 했어요.

    vidarh · Hacker Newsnews.ycombinator.com
  • “As an AI "hater", I definitely think there are very useful and net-positive (and underrated yet) applications of the LLM technology. Finding something in archives is definitely one of those.”

    스스로 AI를 싫어한다는 사람인데, 기록 보관소에서 무언가를 찾는 일은 확실히 쓸모 있고 아직 덜 알려진 쓰임새라고 했어요.

    sedan_baklazhan · Hacker Newsnews.ycombinator.com
  • “these kind of things are inspiring – especially if you are getting more confidence in that Mauritius-to-India link.”

    뉴욕타임스 시각 탐사 보도팀 기자예요. 이런 작업이 영감을 준다고 했어요. Breen은 모리셔스의 도도새가 인도 무굴 황제 자한기르의 궁정까지 건너갔을 수 있다는 가설을 함께 다뤘는데, 그 연결에 확신이 커진다면 더 그렇다고 덧붙였어요.

    Christiaan Triebert · Breen 글 댓글resobscura.substack.com

아쉬웠다는 평

  • “"Ree" refers here to a "r(e)ede": a safe place for large ships to anchor (so not a road).”

    네덜란드인 역사고고학자예요. Breen 글에 실린 AI 번역이 항해 기록의 네덜란드어 'Ree'를 길(road)로 옮겼는데, 이 말은 큰 배가 안전하게 닻을 내리는 정박지라고 바로잡았어요.

    Zachariah Hopkins · Breen 글 댓글resobscura.substack.com
  • “AI models can be confidently wrong”

    AI 모델은 자신 있게 틀릴 수 있다고 했어요. 모델이 자바에 내린 화산재를 1,500km 떨어진 화산 탓으로 돌린 일이 있었어요.

    Jesse Waites · 본인 글jessewaites.com
  • “Opus 5.5 and GPT-6 ended up spawning up to a dozen independent agents that that drilled down into minutiae and got utterly lost in the weeds.”

    에이전트가 열두 개 안팎까지 늘어나 자잘한 세부를 파고들다 완전히 길을 잃었다고 했어요. 알맞은 질문을 던지고 발견의 의미를 판단하는 일은 아직 못 한다고도 적었어요.

    Benjamin Breen · 본인 글resobscura.substack.com
  • “But I'm not sure amateur sleuths will be able to do anything relevant.”

    지난 반년 동안 LLM으로 원고 100만 쪽 넘게를 분류해 온 역사학자예요. 그런 그도 아마추어가 의미 있는 성과를 낼지는 모르겠다고 했어요.

    Thiago Krause · Breen 글 댓글resobscura.substack.com

시작하는 법

이 순서에는 고문서에만 맞는 단계가 없어요. 사내 회의록이나 고객 문의 기록처럼 사람이 다 읽을 수 없을 만큼 쌓인 문서와 질문 하나가 있으면, 같은 순서를 따를 수 있어요. 답을 이미 아는 일로 검색부터 확인하고, 넓게 추린 뒤 값싼 모델로 거르고, 큰 모델이 읽은 것을 원본과 대조해요. Waites도 동인도회사 문서와 옛 신문 지면을 같은 방식으로 뒤졌어요.

연습할 자료로는 GLOBALISE가 무료로 공개한 동인도회사 문서가 있어요. 손으로 쓴 문서 500만 쪽 넘게를 AI로 옮겨 적는 사업이고, 웹 열람기와 Dataverse 데이터셋으로 받을 수 있어요.

Antiquity로 만든 작업 폴더를 열면 에이전트는 Antiquity에 적힌 7단계를 따라가요. 질문을 세우며 검색이 제대로 되는지 확인할 대조군으로 이미 답을 아는 사건을 골라 두고(Antiquity는 이것을 '묻어 둔 손목시계'라고 불러요), 임베딩 검색으로 넓게 가져오고, 값싼 모델로 거르고, 큰 모델로 자세히 읽고, 원본 페이지와 대조하고, 학계가 정리한 기록 목록에 이미 있는지 확인하고, 증거를 보관해 정리해 써요.

  1. 1

    Antiquity를 설치하세요

    무료 오픈소스예요. 검색과 모델 호출은 폴더를 연 코딩 에이전트가 해서, 모델 요금은 따로 들어요.

    설치 명령

    go install github.com/jessewaites/antiquity@latest

  2. 2

    내 질문으로 작업 폴더를 만드세요

    이름, 한 줄 질문, 긴 설명, API 키(선택) 네 가지를 묻고 AGENTS.md·CASE.md·HANDOFF.md 등이 든 폴더를 만들어요.

    폴더 만들기

    antiquity new my-investigation

  3. 3

    그 폴더에서 코딩 에이전트를 여세요

    폴더로 들어가 Claude Code나 Codex를 열어요.

    폴더로 이동

    cd my-investigation

  4. 4

    이미 아는 사건부터 다시 찾게 하세요

    검색이 제대로 되는지 이 단계에서 확인해요. Waites는 도도새 기록, 1783년 라키 분화, 1815년 탐보라 분화가 걸려 나오는지부터 봤어요.

필요한 것

  • Go(설치 명령 go install을 실행할 때)
  • Claude Code나 Codex 같은 코딩 에이전트
  • 모델 API 요금과 임베딩 색인을 돌릴 GPU(Antiquity는 검색도 모델 호출도 직접 하지 않는 작업 폴더 도구예요)

이 레퍼런스 공유하기

매주 1회 · 무료

이 레퍼런스가 도움이 되셨나요?

매주 쏟아지는 AI 소식 중 BEST
딱 3개만, 메일함에 꽂아 드릴게요

Work Smarter with AI

420명이 매주 받아보고 있어요

구독 완료 다음 호부터 메일함에서 만나요.