gzip은 언어 모델이 될 수 있을까요?
gzip의 DEFLATE 압축기가 텍스트의 다음 바이트를 예측하는 모델처럼 작동할 수 있는지 실험합니다. 코퍼스를 압축 창에 넣고 압축 길이를 점수로 삼아 beam search를 수행하자, 문장은 어색하지만 학습한 텍스트의 패턴을 일부 이어갔습니다.
gzip의 DEFLATE 압축기가 텍스트의 다음 바이트를 예측하는 모델처럼 작동할 수 있는지 실험합니다. 코퍼스를 압축 창에 넣고 압축 길이를 점수로 삼아 beam search를 수행하자, 문장은 어색하지만 학습한 텍스트의 패턴을 일부 이어갔습니다.