Qwen3.8-27B 공개 — Gated DeltaNet 하이브리드 아키텍처에 네이티브 비전·최대 100만 토큰 컨텍스트

본문

Qwen3.5와 Qwen3.6 시리즈의 커뮤니티 채택에 이어 Qwen 팀이 "지금까지 가장 capable한 세대"라고 소개하는 Qwen3.8을 발표했습니다. 이번에 공개된 Qwen3.8-27B는 Qwen3.5의 아키텍처 기반 위에서 코딩, 전문 업무, 리서치, 장기 에이전트 작업 전반의 성능을 끌어올린 compact dense 모델입니다. 모델 웨이트와 설정 파일은 Hugging Face Transformers 형식으로 배포되며 Transformers, vLLM, SGLang, TokenSpeed 등에서 바로 사용할 수 있습니다. 관리형 서비스를 원하는 사용자를 위해서는 Qwen Cloud의 공식 API가 준비 중이며, 호스티드 버전은 기본 100만 토큰 컨텍스트와 공식 내장 도구를 제공할 예정입니다.

아키텍처 — Gated DeltaNet 하이브리드

파라미터 27B, 히든 차원 5120, 64개 레이어로 구성되며, 레이어 레이아웃이 특이합니다. 16개 블록이 반복되는데 각 블록은 "Gated DeltaNet → FFN" 3개와 "Gated Attention → FFN" 1개로 이루어진 선형 어텐션-표준 어텐션 하이브리드 구조입니다. Gated DeltaNet은 V에 48개, QK에 16개의 선형 어텐션 헤드(헤드 차원 128)를 사용하고, Gated Attention은 Q 24개·KV 4개 헤드(헤드 차원 256, RoPE 차원 64)를 씁니다. FFN 중간 차원은 17,408이며 다단계 Multi-Token Prediction(MTP)으로 학습되었습니다. 컨텍스트 길이는 네이티브 262,144 토큰이고 YaRN 같은 RoPE 스케일링으로 최대 1,000,000 토큰까지 확장 가능합니다. 다만 공개 프레임워크들의 YaRN은 정적 스케일링이라 짧은 입력에서 성능 손해가 있을 수 있어, 실제로 긴 컨텍스트가 필요할 때만 rope_parameters를 수정하고 목표 길이에 맞게 factor를 조정하라고 권고합니다. 이미지와 비디오를 네이티브로 이해하는 비전 인코더가 내장되어 STEM 다이어그램, 문서, 시간 단위 비디오까지 처리합니다.

벤치마크 — 에이전트 코딩에서 전작 대비 큰 폭 향상

공개된 표에서 Qwen3.8-27B는 Qwen3.6-27B, Qwen3.7-Plus, Muse Glimmer-30B, Opus4.6 Max와 비교됩니다. 에이전트 터미널 코딩 Terminal Bench 2.1에서 73.0(전작 63.4), SWE-bench Pro 61.7(전작 53.5), 자사 소프트웨어 엔지니어링 벤치 QwenSWEBench 79.0(전작 49.3), DeepSWE 1.1에서 42.2(전작 13.3)를 기록했습니다. 에이전트 부문에서는 장기 오피스 작업 CoWorkBench 70.7, 직무 작업 JobBench 33.4, Agents' Last Exam Pass@1 20.4입니다. 일반 부문은 IFBench 79.5, GPQA Diamond 89.2, HLE 30.8, LiveCodeBench v6 90.3입니다. 멀티모달 에이전트 지표도 강한데, 컴퓨터 사용 OSWorld-Verified 84.3(비교 모델 중 최고), 브라우저 WebArena-Verified 64.8, 모바일 AndroidWorld 81.9, 비주얼 웹 개발 Vision2Web 62.9입니다. 문서 지능 OmniDocBench 1.5는 91.1입니다. SWE-bench Pro와 DeepSWE 등 코딩 벤치는 Claude Code 하니스스, temp=1.0, 256K 컨텍스트 조건에서 측정되었고 일부 자사 벤치(CoWorkBench, QwenSWEBench, RecreationBench)가 포함되어 있다는 점은 감안할 필요가 있습니다.

Thinking 제어와 샘플링 권장값

thinking 모드가 기본으로 켜져 있으며 <think> 블록으로 추론을 생성한 뒤 최종 답변을 출력합니다. reasoning_effort 파라미터로 추론 깊이를 xhigh(기본)·medium·low 중에서 조절할 수 있고, preserve_thinking이 기본 활성화되어 멀티턴 대화에서 과거 메시지의 추론 컨텍스트를 유지해 KV 캐시 활용도와 결정 일관성을 높입니다. 팀은 에이전트 작업에서 낮은 reasoning effort가 오히려 재시도를 늘려 총 지연과 토큰 소비를 키울 수 있다고 경고합니다. 권장 샘플링은 thinking 모드에서 temperature=1.0, top_p=0.95, top_k=20, 비-thinking 모드에서 temperature=0.7, top_p=0.80, presence_penalty=1.5입니다. 에이전트 작업에는 추론 최대 262,144 토큰, 최종 응답 최대 131,072 토큰의 출력 여유를 두라고 권장하며, 시간 단위 비디오 처리 시에는 video_preprocessor_config의 longest_edge를 224k 비디오 토큰 규모로 올리라고 안내합니다. 공개 한 달 다운로드 수는 766만 회를 넘겼습니다.

원문: Hugging Face / 번역·요약: Trawling