LLM의 RL 학습에서 어려운 문제를 포기하지 않고 풀도록 만드는 방법 — Matthew Effect와 Never Give Up

본문

LLM을 대상으로 한 RL post-training에서 eval 곡선이 우상향하더라도, 그 평균이 실제로 무엇을 측정하는지를 묻는 글입니다. 저자 Michael Noukhovitch(Ai2)는 Olmo 3.1 RL-Zero Math의 AIME 2025 eval을 예로 들어, 30개 문항을 초기 모델의 pass@32 기준으로 easy·medium·hard로 나누면(초기 pass@1 평균 각각 22.7%, 3.8%, 0%) 향상 대부분이 easy 문제에서 나오고 hard 문제는 거의 개선되지 않음을 보입니다. 이는 수학 RL에 국한되지 않고, Deepcoder(LCBv6)와 DeepSWE(SWEBench) 로그로 확인한 코드·에이전트 RL에서도 동일하게 나타납니다. 저자는 이를 네트워크 과학·경제학의 'Matthew Effect(부익부 빈익빈, Merton 1968)'에 빗대어 'RL for LLMs의 Matthew Effect'로 명명합니다.

원인 분석 — 큰 k가 왜 답이 아닌가

직관적으로는 GRPO에서 k개의 샘플이 모두 틀리면 gradient가 없는 'signal loss(Xiong et al., 2025)'가 원인처럼 보이고, k를 키우면 해결될 것 같습니다. 저자는 Qwen 2.5 0.5B Instruct를 GSM8k Platinum으로 학습시키며 k를 4, 8, 16, 32로 바꾸는 실험(배치 크기 고정)을 합니다. 결과는 반대로 k=4가 가장 좋았습니다. k가 크면 어려운 문제의 희귀한 정답을 찾을 확률도 높아지지만, 동시에 쉬운 문제의 희귀한 오답을 찾을 확률도 높아져서, 32/32가 모두 맞아야 필터링되는 탓에 이미 푼 쉬운 문제에 계산량을 계속 쓰게 됩니다. 약 200 step을 변곡점으로, 희귀 정답 발견의 이득이 쉬운 문제에 낭비되는 계산량에 역전됩니다. 비동기(async) RL 환경에서는 필터링으로 절약한 계산량이 곧바로 어려운 문제 학습으로 재배정되므로, 저자는 문제의 본질을 undersampling이 아니라 'signal efficiency' — 쉬운 문제에 과도한 계산을 쓰는 것 — 로 규정합니다.

Never Give Up — 적응적 재샘플링

NGU의 절차는 단순합니다. 먼저 작은 k만큼 샘플링하고, 정답이 하나라도 나오면 바로 학습합니다. k개 모두 정답이면 필터링합니다. 전부 오답일 때만 확률 p로 '포기하지 않고' 프롬프트를 generator에 되돌려 k개를 추가로 샘플링하며, 풀리면 누적된 k×라운드 수의 completion 전체로 학습합니다. 풀리지 않는 프롬프트의 기대 샘플 수는 k/(1-p)의 기하분포를 따릅니다. 커리큘럼 러닝처럼 난이도를 사전에 고정하는 방식과 달리 온라인에서 스스로 적응하므로, 학습이 진행되며 난이도가 변하는 문제에 유리합니다. GSM8k에서 k=4, p=0.9의 NGU는 모든 표준 GRPO 설정을 앞섰고 특히 가장 어려운 부분집합에서 차이가 컸습니다.

비동기 RL의 staleness 처리

여러 라운드의 NGU를 거치면 초기 k개 completion이 학습 시점에 stale해지는 문제가 있습니다. 저자는 일정 연령(threshold) 이상의 completion을 필터링하되(T=4가 최적), GRPO baseline 계산에는 필터링된 샘플까지 포함하는 'anchor pos' 방식 — 양성 샘플을 기준점으로 고정하고 음성 advantage를 리스케일해 총 보상 0을 유지 — 이 가장 좋았다고 보고합니다.

확장 실험과 한계

DeepScaler + Qwen 3 4B 규모의 수학 RL에서도 GRPO k=16 baseline 위에 NGU를 얹으면 AIME+BRUMO 2025의 hardest subset이 추가로 향상됐고, 쉬운 문제 성능 저하는 사실상 없었습니다. 코드 RL(Manufactoria, Sun et al. 2025 설정)에서는 문제 단위가 아니라 테스트 단위로 Matthew Effect가 나타나는데, NGU는 '다음 k개가 기존보다 더 많은 테스트를 통과해야만 수용'하는 방식으로 정체된 학습을 다시 진전시켰습니다. deep RL의 Primacy Bias(Nikishin et al., 2022)와의 유사성도 검토했으나, 3000 step 이상 정체된 체크포인트에서도 성능이 회복되어 plasticity 문제는 아니라고 결론 내립니다. 한계로는 데이터셋이 아주 어려운 문제 위주면 재배정할 계산량이 없어 효과가 없고, 순차 재샘플링 특성상 초기 샘플이 더 off-policy가 될 수 있다고 명시합니다. 논문은 arXiv(2609.13443), 코드는 GitHub에 공개되어 있습니다.

원문: Hacker News / 번역·요약: Trawling