합성 프로그램으로 학습한 AI, 자연 데이터 예측 손실도 계산량 따라 낮아져
연구진은 생성 모델이 제한된 명령어로 프로그램을 만들고 실행해 얻은 바이트열로 학습 모델을 훈련하는 자기대국 사전학습을 제시했습니다. 매개변수 2,500만 개 미만 모델은 자연 데이터로 가중치를 갱신하지 않은 상태에서 여러 데이터셋의 제로샷 예측 손실이 계산량에 따라 낮아졌습니다. 다만 DCLM·DNA 검증 손실은 하이퍼파라미터 선택에 사용됐으며, 논문은 실제 세계의 사실을 익히는 자연 데이터 학습의 보완 경로로 이 방식을 설명합니다.
Jerusalem Post는 텔아비브대(TAU)가 2026년 11월 4일 발표한 연구를 11월 7일 보도했습니다. 논문 「Self-Play Pretraining with Zero Data」는 그보다 앞선 9월 24일 arXiv에 제출됐습니다. 저자는 Aditya Cowsik 등 7명이며, 논문은 저자 소속으로 텔아비브대와 스탠퍼드대, LAPTh 및 독립 연구자를 기재했습니다.
프로그램 실행 결과로 학습하는 두 모델
논문에서 ‘제로 데이터’는 자연 데이터를 모델의 가중치 갱신에 사용하지 않는 실험 설정을 뜻합니다. 학습 예시는 생성 모델이 프로그램을 만들고, 이를 실행해 얻은 바이트열로 구성합니다. 생성 모델과 학습 모델은 무작위 초기화한 같은 구조의 디코더 전용 트랜스포머입니다. 생성 모델은 프로그램을 제안하고, 학습 모델은 프로그램 실행 결과에서 다음 바이트를 예측합니다.
생성 모델이 프로그램을 작성할 때 쓸 수 있는 토큰은 바이트 테이프를 조작하고 반복·읽기·출력을 수행하는 Brainf*ck 계열 언어의 기본 명령어 8개, 단일 바이트 매크로 명령어 10개, 종료 토큰으로 제한됩니다. 범용 튜링 머신은 프로그램을 무작위 입력 테이프와 함께 실행해 바이트열을 출력합니다. 학습 모델의 자료는 프로그램 코드가 아니라 이 실행 결과입니다.
두 모델은 256개 바이트 값을 토큰으로 사용합니다. 텍스트·이미지·오디오 같은 자료도 바이트열로 표현할 수 있어, 모델은 서로 다른 데이터 형식에서 같은 다음 바이트 예측 과제를 수행합니다. 연구진은 이 공통 표현을 활용해 자연어, 이미지, 음성, 멜로디, DNA와 수학 데이터셋에서 학습 결과를 평가했습니다.
생성 모델의 보상은 출력이 얼마나 예측하기 어려운지만으로 정하지 않습니다. 무작위 바이트를 섞으면 예측은 어려워져도 학습할 수 있는 규칙이 생기지 않을 수 있기 때문입니다. 연구진은 후보 출력에 대한 학습 모델의 손실 기울기와 최근 학습 방향이 얼마나 정렬되는지를 보상 기준으로 삼았습니다. 이 점수는 AdamW 최적화 상태를 반영해 계산합니다. 이미 익힌 자료는 새로운 학습 신호가 적고, 학습 방향과 무관한 자료는 기울기가 잘 정렬되지 않아 보상이 낮습니다. 생성 모델은 강화학습을 통해 학습 모델이 새로 익힐 수 있는 패턴을 담은 프로그램을 더 자주 제안하도록 조정됩니다.
자연 데이터 평가와 비교 결과
학습이 끝난 모델은 평가용 자연 데이터에서 가중치 갱신 없이 예측 손실을 측정했습니다. 계산량이 늘수록 손실이 일정한 규모 법칙을 따라 낮아졌고, 그 감소를 나타내는 지수는 자연 데이터로 직접 사전학습한 모델에서 관측된 값과 비슷했습니다. 논문이 비교한 것은 계산량에 따른 손실 감소의 지수입니다. DCLM 텍스트와 DNA 검증 손실의 평균은 하이퍼파라미터를 고르는 데 사용했습니다. 따라서 이 연구에서 ‘제로 데이터’는 자연 데이터를 가중치 갱신에 넣지 않았다는 뜻으로 한정됩니다.
연구진은 생성 모델의 적응적 프로그램 선택이 어떤 역할을 하는지 보기 위해 같은 프로그램 공간에서 고정된 프로그램 사전과도 비교했습니다. 고정 사전은 학습 모델의 상태에 맞춰 프로그램 분포를 바꾸지 않았으며, 계산량 증가에 따른 손실 개선도 자기대국 방식보다 느렸습니다. 확률적 문맥 자유 문법(PCFG)으로 만든 자료는 텍스트와 코드에 강했습니다. 반면 자기대국 방식은 이미지·음악·오디오·음성에서 PCFG보다 나은 결과를 보였습니다. 이 비교는 자기대국 방식이 모든 영역에서 특화된 사전보다 앞선다는 뜻이 아니라, 여러 형식으로 예측 구조를 전이하는 양상이 영역별로 달랐음을 보여줍니다.
연구진은 문맥 안에 제시한 예시만으로 규칙을 추론하는 과제도 시험했습니다. 이때 모델은 추가 가중치 갱신이나 미세조정을 받지 않았습니다. 예시를 충분히 받은 뒤 역문자열, 스택, 연상기억 과제에서 성공률이 거의 100%에 이르렀습니다. 최댓값·최솟값·합을 구하는 수학 관계 과제에서도 문맥 속 예시로 규칙을 학습했습니다.
실험 모델은 매개변수 2,500만 개 미만, 문맥 길이 4,096토큰으로 구성됐습니다. 연구진은 더 큰 모델에서도 결과가 이어지는지를 후속 과제로 남겼습니다. 논문은 특정 세계의 사실은 실제 데이터와의 접촉을 통해 모델에 들어온다고 설명합니다. 연구진이 제시한 자기대국 사전학습은 그 사실을 대신 제공하는 방식이 아니라, 자연 데이터 학습을 보완하며 일반적인 예측 구조를 익히는 경로입니다.