합성 프로그램으로 학습한 AI, 자연 데이터 예측 손실도 계산량 따라 낮아져
연구진은 생성 모델이 제한된 명령어로 프로그램을 만들고 실행해 얻은 바이트열로 학습 모델을 훈련하는 자기대국 사전학습을 제시했습니다. 매개변수 2,500만 개 미만 모델은 자연 데이터로 가중치를 갱신하지 않은 상태에서 여러 데이터셋의 제로샷 예측 손실이 계산량에 따라 낮아졌습니다. 다만 DCLM·DNA 검증 손실은 하이퍼파라미터 선택에 사용됐으며, 논문은 실제 세계의 사실을 익히는 자연 데이터 학습의 보완 경로로 이 방식을 설명합니다.