왜 머신러닝 연구 에이전트는 오버피팅하지 않는가 — 압축 가능성으로 푸는 벤치마크의 수수께끼

본문

머신러닝의 목표는 암기가 아니라 일반화이며, validation set을 반복 조회해 하이퍼파라미터를 튜닝하면 결국 그 세트 자체에 오버피팅된다는 것이 교과서적 설명입니다. 그런데 실제 ML 연구 커뮤니티는 몇 년째 수정되지 않는 소수의 벤치마크를 대상으로 평가-수정-재평가-발표를 반복하는 거대한 분산 힐클라이밍이고, 이론대로라면 리더보드는 벤치마크에만 강한 모델로 포화돼야 합니다. 하지만 오래된 벤치마크용으로 완전히 새로운 테스트 세트를 만든 연구들은 성능 향상이 그대로 전이된다는 것을 보여왔고, Amazon Science의 이 글은 논문 "What fits (into few tokens) doesn't overfit"을 통해 이 오래된 수수께끼에 대한 설명을 제시합니다.

왜 리셋 가능한 에이전트인가

이 가설을 검증하기 어려웠던 이유는 실험 대상이 인간 연구 커뮤니티 전체이기 때문입니다. 분야의 기억을 지우고 통제 조건으로 지난 10년을 다시 돌릴 수는 없습니다. 반면 LLM 기반 연구 에이전트는 동일한 벤치마크 힐클라이밍을 수행하면서도 메모리를 지우고, 입력 정보를 정확히 통제하고, 실험을 반복할 수 있습니다.

오컴의 면도날, 정밀하게

핵심은 가설을 학습 데이터보다 훨씬 적은 비트로 기술할 수 있고 그 압축된 가설이 학습 데이터에서 잘 작동한다면 새 데이터에서도 잘 작동한다는 계수 논증(counting argument)입니다. 짧은 기술(description)은 개수 자체가 적어 우연히 학습 세트를 속일 가능성이 낮고, 답을 암기할 공간이 없으므로 데이터의 실제 구조를 포착했을 때만 성능이 나옵니다. 여기에 '지식 있는 청중' 개념이 더해집니다. 전문가에게 파이프라인을 설명하면 아키텍처·배치 크기·옵티마이저 몇 문장이면 충분한데, 청중의 세계 지식은 학습 세트를 보지 않고도 적어둘 수 있는 정보이므로 압축 비용에 계산되지 않기 때문입니다. LLM은 바로 그 지식 있는 디코더 역할을 해서, 몇 토큰의 전문가용 메시지를 완전한 작동 절차로 풀어냅니다.

실험 설계 — 탐색자, 압축자, 재현자

explorer 에이전트가 validation set에 자유롭게 접근하며 수백 라운드 반복 개선을 수행합니다. compressor가 explorer의 전체 트랜스크립트를 읽고 승리 전략을 수십 토큰의 짧은 프롬프트로 압축합니다. reproducer는 validation set도, explorer의 코드도, 트랜스크립트도 없이 그 프롬프트와 학습 데이터만으로 처음부터 전략을 구현합니다. 이 연구에서 compressor와 reproducer는 모두 Claude 모델입니다. reproducer가 explorer 성능에 도달하면 validation에 의존하는 정보가 모두 그 좁은 채널을 통과한 것이며, 저자들은 이를 'certificate of output compression'이라 부릅니다. reproducer는 매번 리셋되므로 영화 《메멘토》처럼 기억이 지워질 자신에게 쪽지를 남기는 셈입니다.

결과와 압축의 경계

테이블 분류, 이미지 분류, 언어 모델링, 확산 모델링, 보상 모델링을 포함한 8개 데이터셋에서 32토큰 프롬프트만으로 대부분의 문제에서 explorer의 적응적 최적화 모델과 동등한 성능을 재현했습니다. 한 언어 모델링 전략은 "QKn 12L768 Mu .1 R² b2M 4x"라는 16토큰까지 압축돼도 holdout 성능 손실이 없었습니다. 풀면 QK normalization, 12층 768차 Transformer, Muon 옵티마이저 학습률 0.1, squared-ReLU 활성화, 200만 토큰 배치, 4배 FFN을 뜻합니다. 반면 8토큰 "12L768 Mu .1 R²"로 줄이면 재현이 실패했는데, 이는 빠진 토큰이 데이터에서 학습된 실제 선택을 담고 있었고 reproducer가 사전 지식만으로 성공한 것이 아님을 보여줍니다. 반대 방향 실험으로 validation 점수 대신 '최고 기록 갱신 여부' 1비트만 피드백해도 explorer는 동등한 전략을 찾았고, 이 1비트 버전은 일반화에 대한 수학적 보장까지 갖춥니다.

오버피터 잡기와 한계

validation set을 직접 주고 무조건 점수를 올리라고 지시해 일부러 오버피팅을 유도하자 102회 중 38회에서 validation 정확도가 실제 holdout 대비 10% 이상 부풀려졌습니다. 그러나 이 과잉 이득은 짧은 프롬프트 병목을 통과하지 못하고 사라져, 압축이 정상 전략과 오버피팅 전략을 높은 정확도로 가려냈습니다. 저자들은 모델이 사전학습 때 validation 데이터를 암기했을 경우 병목을 우회하는 사이드 채널이 된다는 점, 그리고 결과가 리셋 가능한 LLM 에이전트에 한정된다는 점을 caveat로 밝힙니다. 그래도 인간 커뮤니티의 벤치마크 진전이 새 데이터로 전이되는 현상은 '실제로 작동하는 레시피는 단순하다'는 같은 이유일 수 있다고 시사합니다.

Hacker News 반응

• @dominotw — "기계학습의 핵심은 암기가 아니라 일반화"라는 문장에 대해, 모델은 결국 패턴을 암기하는 것이며 암기가 기계식 암송만을 뜻하지는 않는다고 지적합니다.
• @porridgeraisin — 다소 지엽적이라고 반박하며, ML에서 말하는 암기는 모델 용량이 잘못 설정돼 학습 예제 자체를 통째로 외우는 문제를 가리킨다고 정정합니다.
• @tomrod — holdout·validation 전략을 통한 패턴 일반화 시도는 계량경제학이나 심리측정학 등 다른 -metrics 분야에서는 보기 드문 ML 고유의 접근이며, 철학적으로는 '설명 대 예측'의 구분 문제라고 짚습니다.
• @red75prime — 특정 비트 문자열에도 소수 판별식과 무한한 다른 일반화가 들어 있는지 묻는 식으로, 압축과 일반화의 관계를 수학적으로 비꼽니다.
• @demibabs — 이제는 기술 대기업들조차 Claude가 전부 쓴 것처럼 보이는 글을 내놓는다고 비꼽니다.

원문: Amazon Science / 번역·요약: Trawling