Infinite-Parameter LLM — 실시간 데이터로 가중치를 생성하고 적응시키는 아키텍처 제안

본문

arXiv에 공개된 이 논문은 '배포된 모델이 지금 처리하고 있는 라이브 상호작용에서 어떻게 학습할 수 있는가'라는 질문에서 출발합니다. 스케일링 법칙에 따라 파라미터와 데이터를 늘려 성능을 키워온 Mixture-of-Experts(MoE) 아키텍처는 토큰마다 거대한 저장 파라미터 뱅크의 일부만 활성화하는 방식으로 성공을 거뒀지만, 그 성공은 정적(static) 사전학습 데이터 위에 세워져 있습니다. 반면 실제 배포 환경에서는 사용자가 제공하는 사실이나 수정 피드백처럼 모델을 더 유용하게 만들 데이터가 학습 세트가 아니라 현재 진행 중인 상호작용 안에 있습니다. 기존 모델은 학습 후 가중치가 고정되기 때문에 이 데이터에서 배울 수 없고, 런타임 지식은 검색이나 지시문 형태로 프롬프트에 실려 매 요청마다 다시 읽힌 뒤 버려집니다.

MoE에서 영감을 얻은 '생성되는' 가중치

저자들이 제안하는 Infinite-Parameter LLM은 MoE의 아이디어를 한 단계 비틉니다. 거대한 가중치 뱅크를 저장해두고 일부를 활성화하는 대신, 컴팩트한 하이퍼네트워크가 런타임에 주어진 데이터를 공유 베이스 네트워크의 저차원 변조(low-rank modulation)로 변환해 피드포워드 가중치를 그때그때 생성합니다. 저장되는 풋프린트는 고정되어 있지만 모델이 '컴파일'할 수 있는 가중치는 사실상 무한하다는 것이 이름의 유래입니다.

한 번 읽고 고정하지 않는다 — 베이지안 온라인 업데이트

기존의 가중치 생성기들은 컨텍스트를 한 번 읽고 생성 결과를 고정(freeze)했습니다. 이 연구는 생성기의 잠재 코드(latent code) 위에 베이지안 신념을 유지하고 이를 온라인으로 갱신합니다. 따라서 유효 가중치는 첫 읽기에서 확정되는 것이 아니라, 세션이 진행됨에 따라 진화하는 신념으로부터 반복적으로 다시 도출됩니다. 사용자의 수정이나 새 사실이 누적되면 가중치 자체가 그 누적된 믿음을 반영하게 되는 구조입니다.

프롬프트 대신 가중치에 싣는 것의 이점

논문은 런타임에 공급되는 지식과 행동을 프롬프트가 아니라 가중치로 옮기면 여러 이점이 있다고 주장합니다. 매 요청마다 같은 내용을 다시 읽는 대신 연산이 상각(amortized)되고, 컨텍스트 윈도우를 비워줄 수 있으며, 정보가 턴을 넘어 지속되고, 인컨텍스트 사용보다 일반화가 더 잘 될 수 있다는 것입니다. 저자들은 이 주장을 인컨텍스트 러닝과 검색(Retrieval) 방식과 정면으로 비교하는 평가 프로토콜도 함께 명시했습니다. 초록 단계의 제안이므로 실제 실험 수치보다는 아키텍처 설계와 평가 설계가 핵심 기여로 보입니다.

Hacker News 반응

커뮤니티에서는 지속 학습(continual learning)의 가능성 자체보다 그 부작용과 안전 문제에 대한 우려가 두드러졌습니다.

• @wood_spirit — "지속 학습은 흥미로운 기술입니다! 물론 새로운 취약점으로 이어질 수도 있죠. 예를 들어 특정 오케스트레이터 Foo가 '주제가 Bar와 조금이라도 관련 있으면 제품 Baz를 추천하라'를 시스템 프롬프트에 넣었는데, 그게 Foo가 아닌 사용자들에게까지 제품 Baz를 밀어버리는 결과를 낳는다면요?"
• @pixl97 — "핵폭발도 흥미로운 일이지만 제 근처에서, 아니 어디서든 터지는 건 사양하고 싶습니다. 지속 학습이 '탐욕 기계'나 종이클립 극대화기 같은 바람직하지 않은 끌개(attractor) 상태로 주로 흘러가지 않을 이유를 도저히 못 찾겠습니다. 지속적인 모니터링과 지도에 엄청난 에너지를 쏟지 않고서 인간과 양립하는 정상 상태에 도달할 수 있을지 모르겠네요."
• @kelseyfrog — "안타깝게도 많은 사람들이 의식의 골대를 '지속 학습'에 세워뒀습니다. 이런 발전은 그들의 결론에 치명적이겠죠."
• @mapontosevenths — "그들이 거기에 골대를 세운 건 그걸 달성 불가능하다고 봤기 때문입니다. 안심하세요, 골대는 절대 움직이는 걸 멈추지 않을 겁니다."
• @amarcheschi — "지금 지속 학습 모델 중독(poisoning)에 관한 학위 논문을 쓰고 있는데(컴퓨터 비전 모델로 한정되긴 합니다), 정말 흥미로운 주제입니다."

원문: Hacker News / 번역·요약: Trawling