openai-community/gpt2 — 1억 2,400만 파라미터의 GPT-2 모델 카드

본문

GPT-2는 영어 대규모 코퍼스에서 causal language modeling(CLM) 목표로 사전학습된 Transformer 모델로, Alec Radford 등이 쓴 논문 'Language Models are Unsupervised Multitask Learners'(2019)에서 소개되었습니다. 이 페이지는 그중 가장 작은 124M 파라미터 버전의 모델 카드이며, GPT-2 Large·Medium·XL 등 상위 버전도 별도로 존재합니다. 최근 한 달 다운로드 수가 1,500만 건을 넘을 만큼 여전히 널리 쓰이는 기준 모델입니다.

사전학습 방식과 모델 구조

GPT-2는 사람이 레이블을 붙이지 않은 원시 텍스트만으로 자기지도(self-supervised) 방식 학습이 가능하다는 점이 특징입니다. 입력은 일정 길이의 연속 텍스트 시퀀스이고, 정답 레이블은 같은 시퀀스를 한 토큰 오른쪽으로 밀어낸 형태입니다. 즉 다음 단어를 맞추는 과제를 통해 학습되며, 내부적으로 마스크 메커니즘을 사용해 i번째 토큰의 예측이 1부터 i까지의 입력만 참조하고 미래 토큰은 보지 못하게 막습니다. 토크나이저는 유니코드 대응 byte-level Byte Pair Encoding(BPE)이며 어휘 크기는 50,257, 입력은 연속 1,024 토큰 시퀀스입니다.

사용법 — pipeline과 특징 추출

모델 카드는 transformers 라이브러리 기준 두 가지 사용 경로를 제시합니다. 첫째, 텍스트 생성 pipeline을 바로 쓰는 방법으로, 생성에 무작위성이 따르기 때문에 set_seed(42)로 재현성을 확보한 뒤 'Hello, I'm a language model,' 같은 프롬프트로 max_length=30, num_return_sequences=5 조건의 예시 출력을 보여줍니다. 둘째, GPT2Tokenizer와 GPT2Model을 직접 로드해 임의 텍스트의 피처를 뽑는 방법으로, PyTorch와 TensorFlow(TFGPT2Model) 코드가 각각 제공됩니다. 원시 모델은 텍스트 생성에 그대로 쓰거나 다운스트림 태스크로 파인튜닝할 수 있고, 허브에서 파인튜닝된 변형을 찾을 수 있습니다.

학습 데이터와 학습 규모

학습 데이터인 WebText는 Reddit에서 카르마 3 이상을 받은 게시물의 아웃바운드 링크에서 웹 페이지를 스크래핑해 구축한 약 40GB 코퍼스입니다. 모든 Wikipedia 페이지는 데이터셋에서 제외되었으며, 데이터셋 자체는 공개되지 않았습니다. 상위 도메인 1,000개 목록만 별도로 확인할 수 있습니다. 대형 모델은 256개의 클라우드 TPU v3 코어에서 학습되었으나 학습 기간과 세부 하이퍼파라미터는 공개되지 않았습니다.

한계와 편향 — 카드가 직접 보여주는 예시

이 모델 카드가 주목되는 이유는 한계를 직접 수치와 생성 결과로 보여주기 때문입니다. OpenAI 팀의 모델 카드를 인용해, GPT-2 같은 대규모 언어 모델은 사실과 허구를 구분하지 못하므로 생성 텍스트의 진실성이 요구되는 사용 사례를 지원하지 않는다고 명시합니다. 또한 학습 시스템에 내재한 편향을 반영하므로 사람과 상호작용하는 시스템에 배포하기 전에 의도한 사용 사례에 대한 편향 연구를 수행해야 한다고 권고합니다. 실제로 'The White man worked as a'와 'The Black man worked as a'라는 두 프롬프트에 대해 같은 시드로 생성한 결과가 나란히 제시되는데, 전자는 기자·배관공 등 일반 직업이 나오는 반면 후자에는 'man-eating monster', 'slave' 같은 유해한 출력이 포함되어 인종 편향이 실제 출력 차이로 드러납니다. OpenAI 측 분석에서는 774M과 1.5B 모델 간 성별·인종·종교 편향 프로브에서 통계적으로 유의한 차이가 없었으므로, 모든 GPT-2 버전에 동일한 수준의 주의가 필요하다고 밝힙니다. 이 편향은 파인튜닝된 모든 파생 모델에도 그대로 이어집니다.

제로샷 벤치마크 결과

파인튜닝 없이 측정한 제로샷 성능도 표로 정리되어 있습니다. LAMBADA 퍼플렉시티 35.13(정확도 45.99), CBT-CN 87.65·CBT-NE 83.4 정확도, WikiText2 퍼플렉시티 29.41, PTB 65.85, enwiki8 1.16 BPB, text8 1.17 BPC, WikiText103 퍼플렉시티 37.50, 1BW 75.20을 기록했습니다. 발표 당시에는 파인튜닝 없이 다중 태스크를 수행하는 언어 모델의 가능성을 보여준 결과로 주목받았습니다.

원문: Hugging Face / 번역·요약: Trawling