Claude로 400년치 역사 기록을 뒤졌다 — 잊힌 운석과 코뿔소, 기록에 없는 화산 분화를 찾다

AI 요약

소프트웨어 엔지니어 Jesse Waites는 AI로 역사 기록을 대규모 검색한 뒤, 원문 문서와 기존 전문 목록을 대조하는 연구 파이프라인을 만들었습니다. 네덜란드 동인도회사 기록과 여러 나라의 디지털 신문에서 운석 낙하, 동물 기록, 화산 분화의 단서를 찾았습니다. 발견 후보는 원문 이미지와 대조했지만, 전문 목록을 관리하는 연구자들의 검토는 아직 진행 중입니다.

검색 파이프라인

자료는 GLOBALISE가 전사한 네덜란드 동인도회사 기록 435만 쪽, 네덜란드 국립도서관의 디지털 신문, 미국 신문 200년치, 선박 항해일지 일부로 구성했습니다. 사람이 쪽마다 2분씩 읽으면 70년가량 걸릴 양을 개인용 GPU로 하룻밤, 약 12시간 동안 처리했습니다.

옛 문서에는 필사와 인쇄 인식 오류가 많고, 같은 단어도 표기가 제각각이라 단순 키워드 검색만으로는 후보를 놓치기 쉽습니다. 작성자는 동인도회사 기록에서 문장 570만 개를 의미 벡터로 바꿔, 정확한 단어가 아니라 내용에 따라 검색했습니다. 검색 결과가 수만 건에 이르면 저렴하고 빠른 판단 모델 Jev가 먼저 좁혔습니다. 예를 들어 코끼리 언급 5만 9천 건을 읽히는 데 약 3달러가 들었습니다. Jev가 표시한 자료는 Claude Haiku가 번역하고 날짜와 장소를 추렸으며, Claude Code 에이전트가 원본 문서 이미지와 전사 결과를 대조했습니다.

검색 결과가 없다는 사실을 믿기 전에는 알려진 사건을 제대로 찾아내는지 먼저 시험했습니다. 도도새 기록, 1783년 라키 분화, 1815년 탐보라 분화 등 이미 확인된 사건을 검색해 파이프라인을 점검했습니다. 작성자는 조사 질문을 고르고 후보를 판단하는 역할을 계속 맡았으며, 작업을 완전히 자율적인 AI 연구로 설명하지 않았습니다.

운석과 코뿔소 기록

첫 운석 후보는 1812년 12월 19일 바타비아에서 발행된 영자 신문 Java Government Gazette에 실렸습니다. 신문은 봄베이 신문에 실린 편지를 다시 전했습니다. 인도 마하라슈트라주 판다르푸르 인근에서 8월 6일 천둥구름 근처로 돌이 떨어졌으며, 무게는 약 4파운드, 철 성분이 많고 표면에는 얇고 검은 껍질이 있었다는 내용입니다. 편지는 돌이 땅속 약 1피트에 박혔다고도 전했습니다. 작성자는 운석 목록 여섯 종과 자연사박물관 소장품을 확인했지만 이 낙하 기록을 찾지 못했습니다. 사실로 확인되면 마하라슈트라주의 현존하는 가장 이른 운석 낙하 기록보다 26년 앞섭니다.

코뿔소 기록은 1738~1740년 네덜란드 동인도회사의 편지와 회계 문서에서 나왔습니다. 바타비아에서 포획한 자바코뿔소 한 마리를 스리랑카 캔디 왕에게 선물로 보냈지만, 콜롬보의 마구간에서 죽었습니다. 1740년에는 수컷과 암컷 두 마리를 배 Loverendaal에 실어 보냈으나 출항 사흘 뒤 수컷이, 열흘 뒤 암컷이 죽었습니다. 선원들은 진술서에 서명했고, 총독은 캔디 궁정에 두 마리 모두 항해 중 죽었다고 알리도록 지시했습니다. 작성자가 확인한 목록에는 스리랑카로 보낸 이 코뿔소들이 나타나지 않았습니다. 다만 세 기록 모두 전문 문헌에 새로운 내용인지는 추가 확인이 필요합니다.

기존 화산 목록에 없는 분화 후보

동인도회사 직원들이 목격한 분화 기록을 스미스소니언 Global Volcanism Program 목록과 대조했습니다. 검색에서 분화 보고 769건을 찾았고, AI가 화산 위치를 잘못 짚은 사례가 있어 편지에 적힌 지리 정보를 이용해 후보를 다시 확인했습니다. 그 결과 세 건을 남겼습니다.

1722년 2월 3일 할마헤라섬의 감코노라산 인근에서는 큰 굉음과 번개, 산 너머의 불빛이 목격됐습니다. 다음 날 테르나테의 거리와 지붕, 나무가 흰 천을 덮은 듯 재로 뒤덮였고, 낮에도 해가 보이지 않았다는 보고가 있습니다. 1712년 초에는 서자바의 치레마이산에서 수 주 동안 재와 연기가 이어져 농작물이 망가졌다는 기록이 나왔습니다. 1780년 2월에는 중부자바 슬라멧산이 지역 주민 기억에 없을 만큼 강하게 불탔다는 보고를 찾았습니다. 같은 검색은 목록에 이미 올라 있는 1711년 아우산 분화도 찾아냈습니다. 당시 마을 학교 교사가 쓴 편지가 자료였습니다.

실패한 검색과 남은 검증

1808~1809년 대규모 미확인 분화의 위치를 찾으려던 검색은 성과를 내지 못했습니다. 작성자는 미국·네덜란드·남미의 식민지 신문과 선박 항해일지 등을 살폈고, 바타비아의 신문 기사 633건은 AI가 모두 읽도록 했습니다. 알려진 다른 분화 기록을 찾아낸 파이프라인이라 검색이 실패한 이유를 자료 부재로 추정하지만, 아직 전사되지 않은 동인도회사 항해일지 1,235권은 후속 조사 대상으로 남겼습니다.

신문에서 찾은 하늘의 기이한 현상 460건 가운데 운석이나 해무리처럼 설명 가능한 사례가 대부분이었습니다. 글에 덧붙인 ‘하늘의 기수’, 노스캐롤라이나의 환영 군중, 배 갑판에 떨어진 돌 등은 원문 이미지와 대조하지 않았으므로 발견으로 취급하지 않았습니다. 작성자는 운석 큐레이터와 화산학자, 코뿔소 연구자에게 검토를 요청했다고 밝혔습니다. 조사에 사용한 워크플로를 누구나 활용하도록 Antiquity라는 도구로 공개할 계획도 전했습니다.

Reddit 반응

• @u/bostonstevens — 놀라운 일이 이렇게 많이 일어나는데도 아무도 신경 쓰지 않는다는 게 신기합니다. 지난주에도 여러 분야에서 대단한 발견을 많이 봤는데, 전부 뒤섞여 버리는 느낌입니다.
  • @u/loulan — AI를 너무 싫어해서 그런 이야기를 듣고 싶어 하지 않는 사람들이 있습니다.
  • @u/Extreme_Voice_9091 — 무엇을 자각하라는 건가요? 범용 지능과 로봇이 임계점에 도달하면 업종 전체가 사라질 수 있습니다. 어느 정부도 안전망에는 관심이 없습니다. 진보를 향해 달려가면서 “과학과 AI가 구해줄 것”이라고 약속하지만, 가진 사람들을 구하겠다는 말은 빼놓습니다. 기후 문제도 더 악화할 겁니다.
• @u/magicone2571 — 답은 많이 나왔지만, 증명하는 데는 오랜 시간이 걸릴 겁니다. 어떤 건 검증까지 몇 년이 걸릴 수도 있습니다. 실제 확인이 끝나기 전에는 별로 들뜨지 않겠습니다.
• @u/deeper182 — “AI로 검색해 도도새 기록을 찾았다”는 말이군요. 결국 ‘dodo’라는 단어를 Ctrl+F로 찾는 데 AI가 필요했던 건가요?
  • @u/Fit_Permission_6187 — 이 글타래 사람들 전부 뇌가 슬롭으로 가득 찼습니다.
• @u/daarzijnwoordenvoor — 오랜만에 온라인에서 긴 글을 제대로 읽었는데, 읽길 잘했습니다. 네덜란드 사람이고 역사와 AI를 좋아해서 정말 취향에 맞았습니다. 비용이 문제가 아니었다면 Jev나 Haiku 대신 더 큰 모델을 썼을 때 더 많은 걸 찾았을까요? 검색 의도와 아카이브를 다양하게 바꾸면 얼마나 더 많은 걸 찾을 수 있을지도 궁금합니다.
• @u/loopstarapp — 시애틀의 문화재 지정 보고서로 비슷한 작업을 해봤습니다. 모든 사실을 해당 보고서에 연결해 두는 일이 가장 중요하더군요.
• @u/iamaiimpala — 고인류학 논문을 모으고 분류하면서 단계마다 여러 모델을 시험해 정확도와 비용의 균형을 찾고 있습니다. 다른 프로젝트에서 Jev 같은 결정 모델을 써봤지만, 이런 방식으로 쓸 생각은 못 했습니다. 지금 보니 당연한 선택 같네요.
• @u/Key-Kaleidoscope1101 — 멋집니다!
  • @u/piratebroadcast — 고맙습니다! 정말 자랑스럽지만 다른 온라인 공간에서는 별로 퍼지지 않는 것 같아서, 알아봐 주셔서 기쁩니다.
• @u/westport_blues — “잊혔다”면서 Claude는 어떻게 그 기록을 알았나요? Claude는 대체 누구인가요? 이름부터 지어낸 것처럼 들립니다.

원문: Jesse Waites 블로그 / 번역·요약: Trawling