huggingface/transformers — 🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.
Hugging Face Transformers — 여러 프레임워크가 공유하는 머신러닝 모델 정의 라이브러리
Hugging Face Transformers는 텍스트, 이미지, 오디오, 비디오, 멀티모달 모델의 정의를 모아 학습과 추론에 사용하는 Python 라이브러리입니다. 지원 모델 정의를 여러 학습·추론 프레임워크와 공유하며, Pipeline API로 다양한 작업을 간단히 실행할 수 있습니다.
- 주제
AI 요약
Hugging Face Transformers는 여러 종류의 머신러닝 모델을 정의하고 학습과 추론에 활용하는 라이브러리입니다. 모델 정의를 한곳에 모아 생태계의 여러 도구가 같은 규격을 쓰도록 합니다. 지원 모델은 Axolotl, Unsloth, DeepSpeed, FSDP, PyTorch Lightning 같은 학습 도구와 vLLM, SGLang, TGI 같은 추론 엔진, llama.cpp와 MLX 같은 라이브러리에서 활용할 수 있습니다. Hugging Face Hub에는 100만 개가 넘는 모델 체크포인트가 등록되어 있습니다.
Pipeline API로 여러 작업 실행
Pipeline은 입력 전처리와 출력을 맡는 고수준 추론 인터페이스입니다. text-generation 작업에서는 모델 이름을 지정해 파이프라인을 만들고 프롬프트를 전달하면 텍스트를 생성합니다. 대화형 모델에는 system·user 역할을 담은 대화 기록을 입력합니다. 같은 인터페이스로 Whisper를 이용한 음성 인식, DINOv2를 이용한 이미지 분류, BLIP를 이용한 시각 질의응답도 실행할 수 있습니다. 모델 파일을 내려받아 캐시에 저장하므로 다시 사용할 때 재활용합니다.
설치와 사용 범위
Python 3.10 이상과 PyTorch 2.6 이상이 필요합니다. 가상환경을 만든 뒤 pip install "transformers[torch]" 또는 uv pip install "transformers[torch]"로 설치합니다. 최신 변경 사항을 확인하거나 기여하려면 저장소를 복제해 소스에서 설치할 수 있지만, 최신 버전은 안정적이지 않을 수 있다고 안내합니다.
라이브러리는 신경망 구성 요소를 조립하는 범용 툴박스를 지향하지 않습니다. 모델 파일에 추가 추상화를 많이 두지 않아 연구자가 개별 모델 코드를 살펴보고 빠르게 수정할 수 있게 합니다. 학습 API는 Transformers의 PyTorch 모델에 맞춰져 있으며, 범용 머신러닝 학습 루프에는 Accelerate 같은 별도 라이브러리를 권합니다. 예제 스크립트도 각자의 환경과 용도에 맞게 조정해야 합니다.
원문: GitHub / 번역·요약: Trawling