Qwen3.8-Flash-Next — Qwen4의 기반이 될 차세대 아키텍처를 담은 실험적 프리뷰 모델

본문

파운데이션 모델의 경계가 더 큰 파라미터 수와 더 긴 컨텍스트 윈도우로 밀려나면서, 이제 문제는 얼마나 스케일할 수 있느냐가 아니라 얼마나 효율적으로 스케일하느냐라는 것이 Qwen 팀의 진단입니다. Qwen3.8-Flash-Next는 Qwen4의 기반이 될 아키텍처의 실험적 프리뷰로, 대규모 언어 모델의 핵심 구성 요소들이 스케일에서 상호작용하는 방식을 근본적으로 재설계한 첫 오픈웨이트 릴리스입니다. Hugging Face Transformers 형식으로 배포되며 Transformers, vLLM, SGLang, TokenSpeed 등과 호환됩니다.

새 아키텍처의 네 가지 핵심 요소

첫째는 Qwen Sparse Attention(QSA)을 도입한 하이브리드 어텐션입니다. 기존 Gated DeltaNet과 Gated Attention의 조합을 Gated DeltaNet과 QSA의 조합으로 재구성했는데, 개별 토큰을 선택하는 대신 마이크로 블록 단위로 동작해 롱컨텍스트 레이턴시를 크게 줄였습니다. 에이전트 워크로드가 실사용을 지배하게 된 상황에서 중요한 개선이라고 팀은 설명합니다. 둘째는 Gated Residual로, 정규화된 잔차 스트림을 확장하고 요소 단위의 데이터 의존적 읽기 게이트와 브랜치별 스칼라 쓰기 게이트로 정보 흐름을 조절합니다. 레이어 간 더 세밀한 표현력을 확보하면서 학습 안정성을 유지하고 추론 오버헤드는 낮게 유지합니다. 셋째는 N-gram Embedding입니다. 임베딩은 MoE보다 연산이 적게 필요하고 오프로딩에 유리한 파라미터 스케일링 축인데, 짧은 n-gram으로 인덱싱해 메모리 제약이 있는 가속기에서도 품질 손실 없이 효율적인 파라미터 스케일링을 가능하게 합니다. 넷째는 맞춤형 학습 레시피로, Muon과 AdamW 옵티마이저를 가중치 범주별로 적용하고, 재보정된 스케일링 법칙에 따라 배치 크기 워밍업을 제거해 목표 배치 크기에서 바로 시작함으로써 옵티마이저 스텝 총량을 줄이면서 더 큰 학습률로 안정적 수렴을 지원합니다.

모델 사양

Vision Encoder를 포함한 Causal Language Model이며, 파라미터는 총 125B에 6B가 활성화되고 여기에 51B N-gram 임베딩과 4B MTP 파라미터가 추가됩니다. 히든 차원 2560, 48개 레이어, 레이어 레이아웃은 12 × (3 × (Gated DeltaNet → MoE) → 1 × (QSA → MoE)) 구조입니다. MoE는 512개 전문가 중 라우팅 10개와 공유 1개가 활성화되고, QSA는 Q 24개·KV 2개 헤드에 512 블록 또는 2048 토큰의 인덱서 예산을 사용합니다. 네이티브 컨텍스트 길이는 262,144 토큰이며 YaRN 같은 RoPE 스케일링으로 최대 100만 토큰까지 확장할 수 있습니다. 참고로 기본 1M 컨텍스트와 내장 도구 등 프로덕션 기능을 갖춘 공식 버전은 별도의 Qwen3.8-Flash로 제공됩니다.

벤치마크 결과

코딩 부문에서 Agentic 코딩 벤치마크 DeepSWE 1.1은 58.7로 DeepSeek-V4-Flash-0731(54.4)과 Qwen3.8-27B(42.2)를 앞섰고, SWE-bench Pro 62.5, SWE-bench Multilingual 81.0을 기록했습니다. 에이전트 부문에서는 CoWorkBench 73.9, JobBench 55.7, Toolathlon Verified Pass@1 73.5로 비교 대상 모델들을 상회했습니다. 일반 부문은 IFBench 81.3, GPQA Diamond 91.7, LiveCodeBench v6 91.9, HLE 35.9입니다. 멀티모달 평가에서도 AndroidWorld 84.5, OSWorld 2.0 바이너리 19.4·부분 52.3, Vision2Web 64.0, LVBench 76.6, RealWorldQA 88.5 등을 기록해 Claude-Opus-4.6 (Max) 및 Qwen3.7-Plus 대비 대부분의 항목에서 우위를 보였습니다.

활용 시 참고 사항

모델은 기본적으로 thinking mode로 동작하며 <think> 블록 이후 최종 응답을 생성합니다. enable_thinking, preserve_thinking, reasoning_effort(xhigh/medium/low) 파라미터로 사고 동작을 제어할 수 있고, 기본값은 과거 메시지의 사고 블록을 모두 유지하는 preserved thinking으로 에이전트 시나리오의 결정 일관성과 KV 캐시 활용에 유리하다고 설명합니다. 다만 멀티턴 에이전트 작업에서는 낮은 reasoning effort가 반드시 총 완료 시간을 줄이지 않는다는 주의사항도 함께 제시됐습니다. 권장 샘플링 파라미터는 thinking 모드에서 temperature=1.0, top_p=0.95, top_k=20이고, 프로덕션 환경에는 SGLang, KTransformers, vLLM 같은 전용 서빙 엔진 사용이 권장됩니다.

원문: Hugging Face / 번역·요약: Trawling