gzip은 언어 모델이 될 수 있을까요?
gzip의 DEFLATE 압축기가 텍스트의 다음 바이트를 예측하는 모델처럼 작동할 수 있는지 실험합니다. 코퍼스를 압축 창에 넣고 압축 길이를 점수로 삼아 beam search를 수행하자, 문장은 어색하지만 학습한 텍스트의 패턴을 일부 이어갔습니다.
최신 글
openai-community/gpt2 — 1억 2,400만 파라미터의 GPT-2 모델 카드
OpenAI가 공개한 자기회귀 언어 모델 GPT-2의 Hugging Face 모델 카드입니다. 124M 파라미터의 가장 작은 버전으로, 프롬프트 기반 텍스트 생성과 다운스트림 태스크 파인튜닝에 사용할 수 있습니다. 카드에는 사용법 코드, 학습 데이터 구성, 그리고 인종·성별 편향이 드러나는 생성 예시까지 포함되어 있어 모델의 한계를 명확히 문서화하고 있습니다.