Reddit

Turns out that many current science-based LLM benchmarks have flaws in their answers. When corrected, the LLM benchmark scores rose significantly.

물리학 벤치마크가 잘못 채점하고 있었다 — 오류 수정 후 프론티어 모델 점수 급등

Yale 물리학 연구진이 CritPt, Humanity's Last Exam 등 주요 물리 벤치마크를 전수 감사한 결과, 프론티어 모델의 정답 상당수가 채점 파이프라인 오류나 문항 자체 결함으로 오답 처리된 'false negative'였습니다. 결함 문항을 수정·제외하고 재채점하자 GPT-5.6 Sol의 CritPt 점수가 32%에서 87.5%로 뛰는 등 모든 벤치마크가 사실상 포화 상태에 근접했습니다.

본문

수학에 이어 물리학도 AI가 정복할 것인가라는 질문에서, 지금까지 리더보드는 '물리학은 아직 안전하다'는 인상을 줬습니다. Artificial Analysis 같은 사이트에서 GPT-5.6 Sol은 연구 수준 문제 모음인 CritPt에서 32%, Humanity's Last Exam의 물리 파트에서 47%를 기록했고, 최신 GPT-6 Astra도 나아지지 않았습니다. Yale 물리학 연구진은 이 수학-물리 격차의 원인을 파악하기 위해 벤치마크 통계 분석이 아니라 문항 하나하나를 전문 물리학자들이 직접 재검토하는 방식을 택했고, 그 결과는 예상을 크게 벗어났습니다.

대부분의 오답이 사실은 정답이었다

모든 벤치마크에서 프론티어 모델의 답이 거부된 문항 대다수가 false negative였습니다. 채점 파이프라인이 정답과 동치인 다른 형태의 답을 오답 처리하거나, 문항 자체에 결함이 있었기 때문입니다. 참조 답안의 산술 오류, 문제 조건 누락으로 인한 underspecification, 명시되지 않은 관례에 결과가 의존하는 문제 등이 발견됐고, 이는 전문가 큐레이션 벤치마크인 CritPt와 HLE 물리 파트에서도 마찬가지였습니다. 감사 결과 CMT-Benchmark 50문항 중 30문항, CritPt 56문항 중 21문항에서 결함이 확인됐습니다.

재채점 후 점수 변화

채점자를 수정하고 결함 문항을 수리·제외한 뒤 재측정한 결과는 극적입니다. mean@4 기준으로 HLE-Physics는 47.3%에서 78.7%로, CMT-Benchmark는 61.0%에서 87.2%로, CritPt는 32.3%에서 87.5%로 상승했습니다. pass@4 기준으로는 각각 91.4%, 98.0%, 94.4%에 달해 사실상 포화에 근접했습니다. 저자들은 수정된 채점자도 약 4%의 오류율이 있고 HLE 감사가 처음에 거부된 문항만 대상으로 했다는 한계를 인정하면서도, '모든 물리 벤치마크가 프론티어 AI의 물리 능력을 극적으로 과소평가하고 있다'는 결론은 바뀌지 않는다고 밝혔습니다. 이전 세대 모델조차 학부 역학부터 연구 수준 응집물질이론까지 잘 정의된 closed-form 문제는 거의 다 푼다는 것입니다.

그러나 물리학 연구 자체는 아직

다만 미해결 문제에서는 다른 양상이 나타났습니다. 수학의 미해결 추측을 해결한 바 있는 GPT 기반 에이전트 시스템을 이론물리 오픈 문제에 적용했더니, 자율적으로 완전히 해결한 문제는 하나도 없었고 부분 진전도 비슷한 난이도의 수학 문제보다 현저히 적었습니다. 저자들은 이 차이가 고수준 직관의 결핍에서 온다고 분석합니다. 계산, 수치해석, 극한 검증 같은 '문제집에 해당하는 부분'은 탁월하지만, Laughlin의 분수 양자홀 효과 파동함수 추측이나 Wilson-Fisher의 4−ε 차원 전개처럼 '무엇을 풀 수 있는가'가 아니라 '무엇을 풀어야 하는가'를 다시 정의하는 메타 인식이 부족하다는 것입니다.

다음 세대 벤치마크의 과제

기존 벤치마크가 포화에 이른 만큼, 저자들은 세 가지를 제안합니다. 첫째, 유리한 표현을 고르는 것 자체가 문제인 과제 중심의 더 어려운 벤치마크와 유연한 채점 기준. 둘째, 수학의 Lean처럼 물리학 고유의 검증 도구 — 극한 경우 검사, 차원 분석, 기존 결과와의 정합성 확인 등. 셋째, 인간과 AI가 오픈 문제에 협력하는 공개적 프로세스와 인간이 이해 가능한 AI 주도 연구 모델입니다.

Reddit 반응

  • @endless_sea_of_stars — 이 문제는 수년 전부터 알려져 왔습니다. 수천 개의 문항을 (저렴하게) 큐레이션하는 것은 어려운 일입니다.
  • @Justwalkingthru3 — AI가 고급 수학과 코딩을 푸는 능력을 보면 예정된 수순이었습니다. 물리학이 AI가 뛰어나게 될 마지막 학문도 아닐 겁니다.
  • @kh40tika — FrontierMath에서도 같은 일이 있었습니다. tier4 v2에서 여러 문항이 수정되자 LLM 벤치마크 점수가 갑자기 뛰었고, 이는 GPT-6 Astra가 98%를 기록하기 전의 일입니다.

원문: Is Physics Dead? (개인 블로그) / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗