Swift-Qwen3.8-27B-GGUF — 추론 토큰을 58.3% 줄이고도 성능 손실 1% 미만, 추론 속도 1.95배 향상

본문

Swift-Qwen3.8-27B는 UkisAI가 공개한 Qwen3.8-27B 기반의 추론 효율화(reasoning-efficient) 파생 모델입니다. 핵심 아이디어는 Qwen의 추론 롤아웃에서 과도한 사고를 유발한다고 분석된 추론 마커(reasoning-marker) 토큰들을 특정한 뒤, 모델이 추론하는 동안 해당 토큰의 사용에 페널티를 주는 방식으로 파인튜닝한 것입니다. 그 결과 사고(thinking) 토큰을 평균적으로 크게 줄이면서도 성능은 거의 유지하며, 여러 작업에서 약 1.95배의 속도 향상을 얻었다고 밝혔습니다. 추가로 BottleCap AI의 ThinkingCap-Qwen3.6-27B에서 파생된 전이(transfer) 구성 요소도 포함되어 있습니다.

BF16 벤치마크 결과

BF16 기반 모델과 Swift 어댑터를 적용한 모델을 동일 조건(vLLM 0.27.1, 컨텍스트 262,144, 사고 모드 xhigh, temperature 1.0·top_p 0.95·top_k 20, 모델·과제당 시드 5개 평균)에서 비교했습니다. GPQA-Diamond는 88.38%→88.28%로 성능이 거의 동일한 채 평균 토큰 41.0%, 중앙값 기준 58.3% 감소했습니다. MMLU-Pro는 85.47%→84.95%, C-Eval은 90.00%→90.62%로 오히려 소폭 상승했습니다. 수학 벤치마크에서는 AIME 2026이 98.67%→94.00%, HMMT가 99.33%→96.00%로 다소 하락했으나 토큰은 중앙값 기준 각각 50.2%, 45.9% 줄었습니다. 주목할 점은 LiveCodeBench v6에서 76.76%→81.55%로 정확도가 크게 오르면서도 토큰이 45.8% 감소했다는 것이며, 터미널 작업을 다루는 Terminal-Bench 2.1에서는 66.74%→65.84%로 유사한 성능에 토큰 38.7% 절감을 기록했습니다. 저자는 테스트에서 더 짧은 추론 궤적과 함께 과도한 사고로 인한 오류가 줄어드는 현상도 관찰했다고 설명합니다.

양자화 배포와 GGUF 티어

Swift는 양자화 배포를 염두에 둔 모델로, 낮은 메모리의 가중치와 짧은 추론의 조합을 지향합니다. 소스 모델 카드의 INT4 평가(W4A16, AWQ)에서도 GPQA·IFBench·AIME 전반에 걸쳐 토큰 절감이 유지됐고, AIME에서는 정확도가 같거나 오히려 높아지며 출력 상한 초과 실패가 31~33% 감소했습니다. GGUF 파일은 IQ2_XXS(9.1GB)부터 Q8_0(29.1GB)까지 24개 티어로 제공되며, BF16 대비 평균 KL divergence와 held-out 세트에서의 top-token agreement 지표가 함께 공개됐습니다. 24GB GPU 일반 사용에는 Q4_K_M, 긴 에이전트 실행과 엄격한 도구 호출 형식에는 Q6_K 이상, 최대 충실도에는 Q8_0을 권장합니다.

양자화 레시피와 KV 캐시

모든 티어는 도메인·프롬프트·긴 문서 텍스트 8,016청크로 만든 동일한 중요도 행렬(importance matrix)을 사용하며, 회귀 게이트 프로젝션인 ssm_alpha와 ssm_beta를 F32로, MTP 헤드를 Q8_0으로 고정했습니다. Q4_K_M은 ssm_out·attn_gate·output·token_embd를 Q6_K로 승격해 약 1.1GB를 더 쓰는 대신 일반 llama.cpp Q4_K_M 대비 KL divergence를 약 20% 줄였습니다. 이 모델은 64개 블록 중 48개가 회귀(recurrent) 구조인 하이브리드 아키텍처이므로, 전체 어텐션은 16개 레이어뿐이고 KV 캐시는 토큰당 64KiB에 불과합니다. 32k 컨텍스트에서 2.0GB, 최대 262,144 컨텍스트에서도 16GB 수준입니다. 다만 이 구조 특성상 모든 티어에서 약 0.1%의 위치가 긴 컨텍스트에서 크게 발산하지만, 중앙값 기준 발산은 512토큰 값의 10% 이내로 일반적인 토큰 품질은 컨텍스트 길이와 무관하게 유지된다고 설명합니다.

실행 방법과 MTP

llama.cpp, LM Studio, koboldcpp, Jan AI, Ollama(0.33 이상)에서 실행할 수 있으며, llama-server의 -hf 플래그로 티어와 비전 프로젝터(mmproj)를 자동으로 받을 수 있습니다. 이 모델은 이미지 입력을 지원하고, 모든 티어에 Q8_0으로 저장된 MTP(Multi-Token Prediction) 레이어가 포함되어 있어 --spec-type draft-mtp --spec-draft-n-max 3 플래그로 추측 디코딩(speculative decoding)을 활성화해 생성 속도를 높일 수 있습니다. Ollama는 VRAM에 따라 컨텍스트를 자동 조정하므로 긴 추론을 위해서는 OLLAMA_CONTEXT_LENGTH=65536 등으로 수동 확장이 필요합니다. 가중치를 직접 돌리기 어렵다면 UkisAI가 연구 목적으로 무료·무키(key-less)로 제공하는 OpenAI 호환 API(모델 id: swift)를 사용할 수도 있습니다. 단, 이 GGUF 릴리스는 유한 텐서 검사와 CPU 텍스트 생성 스모크 테스트만 통과했고, 공개된 벤치마크 수치는 BF16·INT4 체크포인트에서 측정된 것임을 명시하고 있습니다.

라이선스

Swift 가중치는 게이트 접근 방식의 Swift Open License v1.0으로 배포됩니다. 개인·연구·교육·평가 목적은 무료이며, 계열사를 포함한 연간 반복 매출(ARR) 100만 달러 이하 조직의 상업적 이용도 무료입니다. 그 이상의 규모에서는 별도의 Swift Enterprise License가 필요합니다. 지난달 다운로드 수는 72,862회를 기록했습니다.

원문: Hugging Face / 번역·요약: Trawling