하버드 물리학자가 3개월간 Claude와 연구했습니다 — 수 주 걸리던 계산을 20분에 재현하고 미해결 물리 계산 15건을 수행했습니다

AI 요약

하버드 물리학자 매슈 슈워츠(Matthew Schwartz)는 AI를 인간 과학자처럼 다루려다 생기는 불일치를 줄이는 대신, 현 세대 모델이 잘하는 문제를 찾아 맡겼습니다. 방대한 분야 지식과 코딩 능력, 수학·통계 도구 활용을 살려 계산과 분석을 빠르게 수행하게 하고, 연구자가 결과의 의미를 판단하는 방식입니다. 이 접근에서 수치 과학 계산 도구와 연구 절차를 묶은 오픈소스 도구 모음 BootLoops가 만들어졌습니다.

모델에 맞는 문제와 도구를 찾았습니다

슈워츠는 앞선 실험에서 Claude Opus 4.5가 대학원생처럼 연구를 수행했지만, 문장을 고치고 엉뚱한 방향을 막는 데 많은 손이 갔다고 설명합니다. 이번에는 모델을 원하는 협업자가 아니라 실제로 잘하는 일을 맡길 대상으로 보고, 코드 작성과 수치 계산처럼 결과를 검증할 수 있는 문제를 찾았습니다.

첫 과제는 산란 진폭(scattering amplitude) 계산을 위한 반수치적 부트스트랩(semi-numerical bootstrap)이었습니다. 이 방법은 물리적 제약 조건으로 가능한 해를 좁힌 뒤, 정밀한 수치 계산으로 남은 계수를 결정합니다. 연구자마다 Wolfram Language, C++, Python, Julia를 따로 쓰고, 논문에 코드가 없는 경우도 있어 슈워츠는 기존 연구를 공통 틀로 옮기고 미공개 코드를 구현하도록 했습니다. Claude는 논문 결과를 약 20분 만에 재현했습니다. 슈워츠가 직접 작성한 코드는 수 주가 걸렸고, Claude는 더 효율적인 알고리즘도 찾아냈습니다.

이후 Claude는 로그 함수에 머물던 계산을 타원 함수(elliptic functions)로 확장했습니다. BootLoops는 적분 30건을 처음부터 끝까지 계산했고, 그중 15건은 기존 결과를 새 방법으로 재현했으며 나머지 15건은 이전에 계산되지 않았던 문제였습니다. 저자는 이 과정에서 Claude가 수학·물리·컴퓨터 과학에 흩어진 방법을 연결하고, 기존 도구를 새 분야에 적용했다고 설명합니다.

기술적으로 맞는 결과와 의미 있는 과학은 다릅니다

도구를 다른 분야에 적용하면서 Claude는 생태학, 집단유전학 등에서도 계산 문제를 찾아냈습니다. 그러나 저자가 전문가에게 결과를 보여주자, 여러 경우 기술적으로는 맞더라도 과학적으로 흥미롭지 않다는 평가를 받았습니다. 생태학의 중립 이론(neutral theory) 연구가 한 사례입니다. Claude는 20년 동안 규모 있게 풀기 어려웠던 램팔 에티엔(Rampal Etienne)의 방정식을 계산했고, 파나마 운하 인근 바로 콜로라도 섬(Barro Colorado Island)의 나무 종 구성이 중립 이론의 예측보다 4.5배 빠르게 바뀐다는 결과를 얻었습니다.

식물생물학자 제임스 오드와이어(James O’Dwyer)는 계산 성과는 높이 평가했지만, 생태학자들이 결과만 보고 대수롭지 않게 여길 수 있다고 지적했습니다. 대신 중립 이론의 예측과 실제 관측의 차이를 연구해 자연선택과 종 간 경쟁의 영향을 살펴보자고 제안했습니다. 전문가가 질문을 다듬고 Claude가 계산을 맡으면서, 데이터와 잘 맞는 간결한 생명사 예측 모델로 이어졌습니다.

집단유전학 연구에서도 비슷한 과정이 있었습니다. Claude는 자연선택이 희귀 돌연변이에 미치는 영향을 나타내는 30년 된 적분을 풀었지만, 전문가 검토 뒤에는 더 의미 있는 질문으로 방향을 바꿨습니다. 연구진은 1000 Genomes Project 자료에서 가까운 돌연변이 57억 쌍을 분석해 유전자 전환(gene conversion)의 증거를 찾았습니다. 저자는 유전 변이를 함께 분석하는 여러 연구가 이 과정을 무시해 왔다고 설명합니다.

연구 보조는 자동화해도 과학적 판단은 남습니다

세 달 동안 슈워츠는 약 400개 후보 문제를 살펴보고, 18개 분야에서 19명의 공동저자와 36편의 원고를 진행했습니다. Claude Code 세션은 Google Cloud 가상 머신에서 프로젝트별로 나눠 실행했고, 별도 세션이 작업과 계산 자원을 조정하고 결과를 검증했습니다. 긴 계산을 밀어붙이기보다 새 도구를 만들어 시간을 줄이도록 지시해야 했고, 대화 맥락이 압축 과정에서 사라지지 않도록 계획과 파일을 주기적으로 정리했습니다. 세션마다 별도 에이전트를 두어 분류기 차단으로 한 작업이 종료돼도 전체 작업에 영향을 덜 주도록 했습니다.

저자는 모델이 작업 시간을 과장하거나 잘못 예상하고, 결과의 중요성을 스스로 판단하지 못하는 문제도 겪었습니다. 따라서 성과를 Claude의 독립적인 과학적 발견으로 설명하지 않습니다. 실제 데이터의 확보와 검토, 다음 연구 질문의 선택은 여전히 사람에게 달렸으며, 전문가는 약한 결과를 걸러내고 더 가치 있는 질문으로 방향을 잡았습니다. 저자가 제시하는 변화는 과학적 방법을 대체하는 일이 아니라, 계산과 분석에 드는 시간을 줄여 연구자가 문제 설정과 해석에 더 집중하도록 돕는 일입니다.

Reddit 반응

• @u/141_1337 — 구체적인 사례를 정리하면, Claude는 수 주 걸리던 물리학 논문 결과를 20분 만에 재현했고, 생태학·유전학 연구에도 기여했습니다. 다만 Claude가 독립적으로 과학자가 된 것은 아닙니다. AI가 계산과 코드, 데이터 분석을 빠르게 수행해도 결과의 중요성을 판단하고 약한 결론을 걸러내는 일은 전문가가 맡았습니다.
  • @u/dmnksaman — 논문 결과를 다른 연구자가 확인하거나 이어서 쓸 수 있도록 코드를 공개하지 않는 관행은 정말 화가 납니다. 독점 소프트웨어 코드를 오픈소스로 옮긴 점은 마음에 듭니다.
  • @u/Competitive_Travel16 — 주요 학술지 5곳의 재현 패키지 4,452건을 검사한 결과, 3,460개 논문이나 부록에서 적어도 하나의 차이를 찾았습니다. 약 77.7%입니다. 다만 그 차이 가운데 약 3분의 1은 마지막 인쇄 자릿수의 반올림 수준이었습니다. 저자들은 이 절차가 재현과 자동 민감도 분석을 위한 것이지 논문의 타당성을 최종 판정하는 도구는 아니라고 밝혔습니다.
• @u/Work_Owl — 이제 한계는 생산성이 아니라 이해력에 있습니다. 엔지니어들은 AI가 낸 결과를 검토하느라 지치고 있습니다. 놀랍기도 하지만 정말 피곤합니다.
  • @u/LookIPickedAUsername — “곧”이 아니라 이미 일어나고 있습니다. 제가 다니는 대형 기술 회사는 AI가 위험도가 낮다고 판단한 코드 변경을 AI로 검토합니다. 제가 올리는 코드의 절반 이상은 사람 검토 없이 들어갑니다. 저는 제출 전에 직접 보지만, 모두가 그렇게 부지런하진 않다는 걸 압니다.
  • @u/unicynicist — 검토에는 여러 모델을 섞는 편이 좋습니다. 모델은 평가자 역할을 할 때 자기 선호 편향을 보이며, 다른 모델이 만든 답보다 자기 답을 더 높게 평가하는 경향이 있습니다.
• @u/endless_sea_of_stars — 흥미로운 점은 AI가 아래쪽 작업부터 가져간다는 것입니다. 모델을 지시하고 결과를 평가하려면 모델만큼 똑똑하거나 그보다 똑똑해야 합니다.
• @u/ZorbaTHut — 코드가 어떻게 쓰였는지 보는 방식이 바뀌었습니다. 구조와 인터페이스가 중요합니다. 구현 자체는 그만큼 중요하지 않습니다.
  • @u/man3faces — 변경 사항에 책임을 지는 엔지니어라면 코드를 읽고 이해하지 않는 건 직업상 과실입니다. P1 장애가 여러 번 발생했을 때 이름이 변경 기록에 남아 있으면 계속 일하기 어려울 겁니다.
• @u/WiseHalmon — CRUD는 해결됐다고 할 수 있겠습니다. 과학은 그렇지 않습니다.
  • @u/LocoMod — 동의합니다. 다만 소프트웨어 개발 대부분은 과학이 아닙니다. 어떤 경우든 AI는 과학 연구의 기간을 크게 줄이고 있습니다.
• @u/RazsterOxzine — 그런데 Claude는 기본 가이드도 따르지 못하고 괜찮은 SQL 스크립트도 쓰지 못합니다. 과장이라고 봅니다.

원문: Anthropic / 번역·요약: Trawling