Qwen3.8-Flash-Next 압축 모델 — 코딩·에이전트 작업에 맞춘 전문가 가지치기
ISTA-DASLab이 Qwen3.8-Flash-Next의 전문가 512개 중 절반을 제거하고, 남은 가중치를 3.5 bpw로 양자화한 GGUF 모델을 공개했습니다. 전체 파일은 58.4GB지만 메모리에 상주해야 하는 변환기 가중치는 29.6GB이며, LiveCodeBench v6 점수는 원본의 98.7%를 유지했습니다.
AI · 최신기사
AI 모델과 서비스, 활용 도구와 이용 조건을 다룹니다.
Qwen3.8-Flash-Next용 비균일 GGUF 양자화 — GSQ와 RCO로 텐서별 정밀도 배분
ISTA-DASLab이 512-expert MoE 모델 Qwen3.8-Flash-Next를 GSQ와 RCO로 비균일 양자화해 2.40·2.50·3.00 bpw GGUF로 공개했습니다. IQ3_XXS는 BF16 대비 4.7배 작으면서 AIME25 점수가 같고, Q2_0은 IQ2_XS보다 프롬프트 처리량이 3.4배 높습니다.