Reddit

(Google Research) The sleep framework: A new way for LLMs to retain knowledge in continual learning

수면 프레임워크: LLM의 지속 학습을 위한 새로운 지식 유지 방식

Google Research가 새 정보를 장기 파라미터에 통합하면서 기존 능력의 망각을 줄이는 LLM 학습 프레임워크를 제안했습니다. 사전 할당한 MoE 메모리 블록을 오프라인에서 갱신하며, 번역·장문 맥락·사실 학습·수학 추론 실험에서 기준 모델보다 나은 결과를 보고했습니다.

에디터 노트

기존 모델 가중치를 그대로 두고 별도 MoE 전문가를 학습한다는 점이 이 방식의 실제 구분점입니다. 그래서 새 정보를 학습할 때 원래 가중치를 직접 덮어쓰는 방식보다 망각을 줄일 여지가 있습니다. 다만 실험 결과는 특정 벤치마크에서의 성능을 보여줄 뿐이며, 본문에는 모델 크기와 수면 단계의 연산 비용이 제시되지 않아 대규모 서비스에서의 효율까지 입증하지는 않습니다. Reddit에서는 이를 LoRA와 비교하며 전문가 활성화 방식의 차이를 따지는 한편, 사용자별 가중치 저장 비용과 기업 데이터의 모델 종속 문제를 지적합니다. 이 우려는 원문 실험으로 답하지 않은 운영 조건에 해당합니다. 또 1,000만 토큰이라는 결과를 영구 메모리의 한도로 읽는 댓글도 있지만, 원문은 BABILong에서 그 길이까지 장문 맥락 이해가 잘 확장됐다고 보고합니다. 벤치마크의 문맥 길이와 학습 가능한 지식의 총량은 같은 수치로 다뤄지지 않으므로, 둘을 구분해 해석할 필요가 있습니다.

AI 요약

Google Research의 Ali Behrouz와 Vahab Mirrokni는 LLM이 배포 뒤에도 새 정보를 익히고 기존 지식을 유지하도록 하는 지속 학습 방식인 수면 프레임워크(sleep framework)를 제안합니다. 모델이 상호작용 중 받은 정보를 문맥 창에만 남기면 세션이 끝난 뒤 활용하기 어렵고, 파라미터를 계속 갱신하면 이전에 배운 내용을 잊는 망각(catastrophic forgetting)이 생길 수 있다는 문제에서 출발합니다. 제안 방식은 상호작용하는 활동 단계와 오프라인 수면 단계를 번갈아 실행합니다. 수면이라는 명칭은 뇌의 기억 통합 과정에서 따왔지만, 실제 구현은 정해진 모델 구조와 사람이 설계한 학습 규칙 안에서 이뤄집니다.

수면 단계의 구성

기억 통합(memory consolidation) 단계에서는 활동 중 쌓인 문맥 정보를 짧은 실습 사례로 만들고, 사전 할당한 Mixture-of-Experts(MoE) 메모리 블록에 반영합니다. 원래 모델의 핵심 가중치를 그대로 둔 채 추가 메모리 블록의 수치 가중치를 갱신해 새 지식을 기록합니다. 저자들은 모든 문맥을 그대로 복사하기보다 모델이 실제 추론 때 보일 행동과 의미 정보를 보존하는 방향을 선택한다고 설명합니다. 이를 위해 온정책 증류(on-policy distillation)와 의미 보상(semantic reward)을 함께 사용합니다. 온정책 증류는 모델 자체가 추론 중 만들 행동과 학습 분포를 맞추고, 의미 보상은 토큰 확률을 그대로 맞추는 데 그치지 않고 과제에 필요한 의미와 행동을 보존하도록 유도합니다. 파라미터 확장은 선택한 정보를 기록할 공간을 마련해 기존에 통합한 지식과의 간섭을 줄이는 역할을 합니다.

꿈꾸기(dreaming) 단계에서는 모델이 만든 연습 사례 가운데 학습에 쓸 자료를 고릅니다. 여러 전문가(MoE)를 무작위로 활성화해 통상적인 활동 자료만으로는 나오기 어려운 다양한 학습 방향을 만들고, 보상과 기울기 기반 선별로 유용한 사례를 강조합니다. 저자들의 이론 분석은 이 과정이 학습 기울기가 소수 방향에 치우치는 현상을 줄이고 더 안정적으로 능력을 다듬는다고 설명합니다. 이 설명은 제안 방식의 이론적 근거이며, 실험 결과 자체와 구분해 읽어야 합니다.

실험 결과

지속 번역 실험에서 만주어와 칼라망어처럼 학습에 쓰지 않은 언어를 순차적으로 익힐 때 성능 저하가 거의 없었다고 보고합니다. 비교 대상인 문맥 내 학습(ICL), Cartridges, 지도 미세조정(SFT)은 순차 학습 중 기존 능력의 망각이 크게 나타났습니다. BABILong 장문 이해 벤치마크에서는 최대 1,000만 토큰까지 거의 완벽한 확장 성능을 보였으며, GPT-4와 Titans보다 나은 결과를 냈다고 합니다. 수면 중 문맥 정보를 파라미터 메모리로 압축한 결과라고 저자들은 설명합니다.

사실 지식 통합 실험에서는 SQuAD와 계속 사전학습(CPT) 평가에서 각각 48.9%, 46.2%를 기록했습니다. 기본 모델, SFT, Self-Adapting Language Models(SEAL)보다 높은 점수였다고 보고합니다. 수학 추론에서는 AIME 24/25와 HMMT 25에서 각각 79.2%, 69.0%, 46.1%를 기록했습니다. SFT, 그룹 상대 정책 최적화(GRPO), 온정책 자기 증류(OPSD)보다 높은 성능이며, 저자들은 기억 통합과 모방 학습을 결합한 결과로 설명합니다. 제공된 본문에는 모델 규모와 수면 학습에 필요한 연산량의 구체적인 수치가 제시되지 않았습니다.

Reddit 반응

  • @sckchui — 원래 가중치를 바꾸지 않고 MoE 구조에 동적 가중치 모듈을 더하는 방식으로 이해했습니다. 원래 가중치는 그대로라 기존 학습을 잊을 위험이 없고, 새 지식은 따로 둔 전문가에 학습시킨다고 합니다. 추가할 수 있는 지식이 약 1,000만 토큰으로 제한된다고 읽었지만 앞으로 늘어날 수 있다고 생각합니다.
  • @DataPhreak — LoRA는 기존 행렬 위에서 활성값을 수정하지만, 이 방식은 모델 안에 새 전문가를 두고 특정 토큰에서만 활성화한다고 설명합니다. 다만 모델에 메모리가 늘어 RAM 사용량도 커질 것이라고 봅니다.
  • @RemusShepherd — 모델이 이전 경험을 이용해 스스로 학습하는 LoRA와 비슷하되, 여러 어댑터를 교체하는 대신 하나의 어댑터를 계속 갱신한다는 점에서 차이가 있다고 말합니다.
  • @CallMePyro — LoRA는 기존 행렬에 적용되지만 여기서는 새 전문가를 더합니다. 새 파라미터를 단순히 추가하는 방식으로는 제대로 학습되지 않으며, 이를 가능하게 하는 설계가 논문의 진전이라고 설명합니다.
  • @EtadanikM — 사실상 정교한 LoRA이며 1,000만 토큰 한도는 문맥을 추가하는 것과 비슷하다고 봅니다. 진정한 지속 학습은 모델이 역전파 없이 직접 가중치를 고치는 데서 올 것이라고 주장합니다.
  • @SilverTroop — 회사 단위로 직원들의 프롬프트를 모아 밤에 학습한다면 토큰 비용을 줄일 가능성이 있다고 봅니다. 다만 기업 지식을 특정 모델의 손실이 있는 표현으로 저장하면 다른 모델로 옮기기 어려워지는 종속 문제가 남는다고 지적합니다.
  • @federico_84 — 주기적인 강화학습과 후처리 학습에 연산이 들고 사용자별 모델 관리와 데이터 정리도 필요하므로 상용 적용 비용이 클 수 있다고 봅니다. 전용 고객 시스템에는 맞을 수 있지만 RAG보다 나은지는 따져야 한다고 말합니다.
  • @sckchui — 논문에서 모델 크기와 꿈꾸기 단계의 연산량을 명확히 밝히지 않았다고 지적합니다. 자율 학습과 강화학습은 계산 비용이 클 수 있으므로 확장성과 효율을 더 확인해야 한다고 말합니다.
  • @Honest_Science — 사용자별로 가중치를 조정하면 사용자마다 전체 파라미터를 저장하고 불러와야 해 비용이 크다고 말합니다. 모든 사용자의 데이터를 함께 학습하면 사용자 간 정보가 섞일 수 있다고 덧붙입니다.
  • @Rookie-dy — 사용자마다 전체 모델을 따로 둘 필요는 없고 전용 LoRA를 둘 수도 있다고 답합니다. 그래도 사용자별 가중치가 상당히 많을 수 있다고 봅니다.
  • @day_break — 그림 1에서 제거 실험(ablation)을 언급했지만 결과를 찾지 못했다고 질문합니다.

원문: Google Research / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗