Meta, Llama 3.1 공개 — 8B·70B·405B 오픈 가중치 모델과 128K 컨텍스트

본문

Meta가 Hugging Face에 게시한 Llama 3.1은 8B, 70B, 405B 세 가지 파라미터 규모의 다국어 대형 언어 모델 컬렉션입니다. 이 글의 대상인 8B Instruct 버전은 어시스턴트형 채팅에 최적화된 지시 튜닝(instruction tuned) 모델로, 2024년 7월 23일에 출시되었습니다.

모델 구조와 학습 규모

Llama 3.1은 최적화된 트랜스포머 아키텍처를 사용하는 자기회귀(auto-regressive) 언어 모델입니다. 튜닝 버전은 지도 미세조정(SFT)과 인간 피드백 강화학습(RLHF)을 거쳐 유용성과 안전성 측면에서 인간 선호에 맞춰 정렬되었습니다. 모든 버전이 추론 확장성을 높이기 위해 Grouped-Query Attention(GQA)을 사용하며, 컨텍스트 길이는 128K 토큰입니다. 사전학습에는 공개된 온라인 데이터 약 15조 토큰이 사용되었고, 미세조정 데이터에는 공개 지시 데이터셋과 2,500만 개 이상의 합성 생성 예시가 포함됩니다. 학습 데이터의 시점 컷오프는 2023년 12월입니다.

공식 지원 언어는 영어, 독일어, 프랑스어, 이탈리아어, 포르투갈어, 힌디어, 스페인어, 태국어 등 8개입니다. 다만 모델 카드는 실제로는 더 넓은 언어 범위로 학습되었으며, 개발자가 라이선스와 사용 정책을 준수한다는 전제 하에 다른 언어로 미세조정할 수 있다고 명시합니다. 한국어는 공식 지원 목록에 없으므로, 한국어 활용을 원한다면 별도 미세조정과 안전성 검증이 필요하다는 점을 시사합니다.

벤치마크 결과

Instruct 모델 기준으로 Llama 3.1 8B는 MMLU 69.4(5-shot), CoT 적용 시 73.0으로 Llama 3 8B의 65.3 대비 크게 향상되었습니다. 코드 벤치마크 HumanEval에서는 60.4에서 72.6으로, 수학 벤치마크 MATH에서는 29.1에서 51.9로 큰 폭의 개선이 나타났습니다. 특히 도구 사용(Tool Use) 영역에서 API-Bank 48.3→82.6, BFCL 60.3→76.1로 전작 대비 급진적 향상을 보였는데, 이는 함수 호출과 에이전트 워크플로를 염두에 둔 설계를 반영합니다. 405B 모델은 MMLU 87.3, HumanEval 89.0, GSM-8K 96.8을 기록해 당시 공개 모델 중 최상위권 성능을 보였습니다. 다국어 벤치마크에서는 MGSM(CoT) 기준 8B가 68.9, 405B가 91.6을 기록했습니다.

도구 사용과 활용 방법

모델 카드는 Transformers 4.43.0 이상에서 pipeline 또는 Auto 클래스로 대화형 추론을 실행하는 코드 예시를 제공합니다. 또한 chat template을 통한 도구 호출 방식을 소개하는데, 함수를 정의하고 tokenizer.apply_chat_template에 tools 인자로 전달하면 모델이 tool_call을 생성하고, 그 결과를 role: tool 메시지로 추가해 다시 generate()를 호출하는 흐름입니다. 원본 체크포인트는 huggingface-cli download로 받을 수 있습니다.

라이선스와 사용 조건

Llama 3.1은 OSI 승인 오픈소스 라이선스가 아닌 자체 Llama 3.1 Community License로 배포됩니다. 모델이나 파생물을 배포할 때는 'Built with Llama' 표기를 웹사이트나 문서에 눈에 띄게 표시해야 하고, Llama 출력으로 다른 AI 모델을 학습시켜 배포하는 경우 모델 이름 앞에 'Llama'를 붙여야 합니다. 월간 활성 사용자 7억 명을 초과하는 서비스는 Meta에 별도 라이선스를 요청해야 한다는 조항이 있어, 사실상 초대형 플랫폼의 자유로운 사용을 제한합니다. 허가받지 않은 직업적 활동(금융·법률·의료), 악성코드 생성, 허위정보, 미군수 규제(ITAR) 대상 활동 등을 금지하는 별도 Acceptable Use Policy도 적용됩니다.

학습 비용과 탄소 배출

Meta는 학습에 H100-80GB GPU 기준 총 3,930만 GPU 시간을 사용했다고 밝혔습니다. 모델별로는 8B가 146만 시간, 70B가 700만 시간, 405B가 3,084만 시간입니다. 위치 기준 온실가스 배출량은 총 11,390톤 CO2eq로 추정되지만, Meta가 2020년부터 글로벌 운영에서 순배출 제로와 100% 재생에너지 매칭을 유지하고 있어 시장 기준 배출량은 0톤이라고 설명합니다. 모델이 공개 배포되므로 이 비용은 이용자에게 전가되지 않는다고 덧붙입니다.

원문: Hugging Face / 번역·요약: Trawling