OpenAI CLIP ViT-B/32 — 제로샷 이미지 분류의 표준 모델 카드

본문

CLIP(Contrastive Language-Image Pre-training)은 OpenAI 연구진이 컴퓨터 비전의 견고성(robustness)을 이해하고, 임의의 이미지 분류 작업에 대한 제로샷 일반화 능력을 검증하기 위해 개발한 모델입니다. 이 리포지토리는 2021년 1월 공개된 원본 구현의 여러 변형 중 Vision Transformer 버전으로, 모델 카드는 공식 CLIP 리포지토리의 것을 수정해 가져온 것이라고 명시되어 있습니다.

아키텍처와 동작 방식

이 변형은 이미지 인코더로 ViT-B/32 Transformer를, 텍스트 인코더로 masked self-attention Transformer를 사용합니다. 두 인코더는 (이미지, 텍스트) 쌍의 유사도를 최대화하도록 contrastive loss로 학습됩니다. 원본 구현에는 ResNet 이미지 인코더 변형도 있었으나, 이 리포지토리에는 Vision Transformer 변형만 포함되어 있습니다. 사용법은 간단합니다. transformers 라이브러리의 CLIPModel과 CLIPProcessor를 불러와 이미지와 후보 텍스트(예: "a photo of a cat", "a photo of a dog")를 함께 입력하면, 출력의 logits_per_image가 이미지-텍스트 유사도 점수가 되고 여기에 softmax를 적용해 라벨 확률을 얻습니다. 별도의 분류 헤드나 파인튜닝 없이 텍스트 프롬프트 설계만으로 분류기를 구성하는 것이 핵심입니다.

의도된 용도와 명시적 제한

모델 카드는 이 모델이 일반 배포용으로 개발된 것이 아니라는 점을 강조합니다. 주요 대상은 AI 연구자이며, 견고성·일반화·편향·제약을 연구하기 위한 산출물입니다. 상용 여부와 무관하게 배포된 사용 사례는 범위 밖이고, 제한된 환경의 이미지 검색 같은 비배포 용도도 고정된 클래스 분류 체계에 대한 철저한 인도메인 테스트 없이는 권장되지 않습니다. 감시와 안면 인식은 성능과 무관하게 항상 범위 밖입니다. 또한 영어 이외의 언어로 학습·평가되지 않았으므로 사용은 영어 사용 사례로 제한해야 합니다.

학습 데이터

학습에는 웹사이트 크롤링과 YFCC100M 같은 기존 이미지 데이터셋을 결합한 공개 이미지-캡션 데이터가 사용되었습니다. 인터넷 크롤링 비중이 크기 때문에 데이터는 인터넷 접근성이 높은 집단, 즉 선진국·젊은·남성 사용자 쪽으로 치우친다는 점이 인정되어 있습니다. 데이터 수집은 대부분 비개입적 방식으로 이뤄졌으나 과도하게 폭력적이거나 성인 이미지에 대한 정책이 있는 사이트만 크롤링해 필터링했고, 이 데이터셋은 상용·배포 모델의 기반으로 의도된 것이 아니며 공개도 하지 않는다고 밝힙니다.

평가 범위와 한계

CLIP은 OCR, 텍스처 인식, 세분류(fine-grained) 분류 등 광범위한 벤치마크로 평가되었습니다. 논문에 기술된 데이터셋에는 ImageNet과 그 변형들(ImageNet-A, ImageNet-R, ImageNet Sketch, ObjectNet), Food101, CIFAR10/100, Stanford Cars, Oxford-IIIT Pet, MNIST, SVHN, Hateful Memes, UCF101, Kinetics700, Flickr30, MSCOCO 등 30여 개가 포함됩니다. 한계로는 세분류 분류와 객체 개수 세기에서의 어려움, 공정성·편향 문제가 지적되며, 평가에 사용한 linear probe가 실제 성능을 과소평가할 수 있다는 방법론적 한계도 언급됩니다.

편향 평가 결과

Fairface 데이터셋으로 인물 이미지를 범죄 관련·비인간 동물 카테고리로 분류하는 비하(denigration) 위험 테스트에서 인종·성별에 따른 유의미한 격차가 발견되었고, 클래스 구성 방식에 따라 격차가 달라졌습니다. 성별 분류는 모든 인종에서 96% 이상의 정확도(중동 98.4%, 백인 96.5%)를 보였고, 인종 분류는 평균 약 93%, 연령 분류는 약 63%였습니다. 저자들은 이러한 평가가 해당 작업에 대한 지지가 아니라 위험을 드러내기 위한 것이라고 분명히 합니다. 모델 카드가 사용 범위와 편향을 이 정도로 명시하는 사례는 드물며, 지난달 다운로드 21,790,053회가 보여주듯 실무에서 널리 쓰이는 만큼 이 제약 사항들은 참고할 가치가 있습니다.

원문: Hugging Face / 번역·요약: Trawling