Qwen3.8-27B GGUF 공개 — Unsloth Dynamic 3.0 양자화와 27B 비전-언어 모델

본문

Unsloth이 Hugging Face를 통해 Qwen3.8-27B의 GGUF 배포판을 공개했습니다. Qwen3.5와 Qwen3.6 시리즈가 커뮤니티에서 널리 채택된 데 이어 등장한 Qwen3.8은 Qwen 오픈 모델 패밀리 중 가장 성능이 높은 세대로 소개되며, 이 27B 모델은 코딩·전문 업무·리서치·장기 에이전트 작업 전반의 개선 사항을 배포하기 쉬운 dense 형태로 담아낸 것이 특징입니다. 지난달 다운로드 수는 8,856,150건에 달합니다.

Unsloth Dynamic V3.0 양자화

이 배포판의 핵심은 Unsloth의 Dynamic V3.0 GGUF입니다. Unsloth은 동일 모델 크기에서 다른 GGUF 제공자 대비 top-1% 구간 정확도가 10% 이상 높다고 주장하며, 주요 양자화 제공자들을 비교한 분석 결과를 함께 공개했습니다. 또한 Mac·Windows·Linux용 Unsloth Desktop에서 Thinking 토글을 켜고 모델을 실행·파인튜닝할 수 있고, 4비트 Qwen3.8-27B가 Unsloth Desktop에서 구동되는 화면도 예시로 제시됐습니다.

모델 아키텍처와 사양

Qwen3.8-27B는 비전 인코더를 포함한 Causal Language Model로, 프리트레이닝과 포스트트레이닝을 모두 거쳤습니다. 파라미터 수는 27B, 히든 차원은 5,120, 레이어 수는 64이며 토큰 임베딩과 LM 출력은 패딩 기준 248,320입니다. 레이어 구성은 하이브리드 구조로, 16 × (3 × (Gated DeltaNet → FFN) → 1 × (Gated Attention → FFN)) 레이아웃을 따릅니다. Gated DeltaNet은 V용 리니어 어텐션 헤드 48개, QK용 16개, 헤드 차원 128이고, Gated Attention은 Q 헤드 24개·KV 헤드 4개에 헤드 차원 256, RoPE 차원 64입니다. FFN 중간 차원은 17,408이며, 여러 스텝으로 학습된 MTP(Multi-Token Prediction)도 포함됩니다.

Thinking 모드와 에이전트 기능

Thinking 모드는 기본적으로 켜져 있으며 요청 단위로 끌 수 있습니다. reasoning_effort 파라미터로 추론 깊이를 조절할 수 있고, preserve_thinking을 통해 이전 메시지의 추론 컨텍스트를 유지할 수 있습니다. 이번 배포에는 Codex 같은 에이전트 도구에서 활용할 수 있는 Developer Role 지원과, 중첩 객체 파싱을 개선해 도구 호출 성공률을 높인 Tool calling 개선 사항이 포함됐습니다. 자율 계획 수립과 환경 피드백 처리 능력이 강화돼 엔드투엔드 작업 완료 신뢰도가 높아졌다고 설명합니다.

비전-언어 이해와 긴 컨텍스트

모델은 이미지와 영상을 네이티브로 이해하는 비전-언어 모델로, STEM 도표와 문서부터 시간 단위의 긴 영상까지 처리할 수 있습니다. 컨텍스트 길이는 네이티브 262,144 토큰이며 YaRN 같은 RoPE 스케일링 기법으로 최대 1,000,000 토큰까지 확장 가능합니다. 긴 영상 이해를 위해서는 video_preprocessor_config.json의 longest_edge를 469,762,048(224k 비디오 토큰)로 설정해 프레임 샘플링률을 높이는 것이 권장됩니다.

권장 샘플링 설정과 출력 길이

Thinking 모드에서는 temperature=1.0, top_p=0.95, top_k=20, presence_penalty=0.0이 권장되고, Instruct(non-thinking) 모드에서는 temperature=0.7, top_p=0.80, top_k=20, presence_penalty=1.5가 권장됩니다. presence_penalty는 0~2 사이에서 조절해 반복을 줄일 수 있지만, 높은 값은 언어 혼용이나 성능 저하를 유발할 수 있다고 안내합니다. 에이전트 작업에서는 충분한 출력 길이 확보가 중요하며, 1M 컨텍스트 내에서 추론 콘텐츠 최대 262,144 토큰, 최종 응답 최대 131,072 토큰을 할당하는 구성이 제안됐습니다.

원문: Hugging Face / 번역·요약: Trawling