Qwen3.8-27B 추론 토큰 40% 절감 — Swift 어댑터 'ThinkingCap' 독립 벤치마크

본문

최근 reasoning 모델들이 지나치게 긴 thinking trace를 생성해 토큰 비용과 응답 지연을 키운다는 지적이 많았는데, UkisAI가 이 문제를 정면으로 겨냥한 Swift-Qwen3.8-27B를 Hugging Face에 공개했습니다. Reddit의 r/LocalLLaMA에서는 이 모델을 독립적으로 벤치마크한 결과가 134점, 댓글 50개를 기록하며 화제가 됐습니다.

학습 방식: '과잉 사고'를 유발하는 토큰에 페널티

Swift는 Qwen의 reasoning rollout을 분석해 과잉 사고(overthinking)를 촉발하는 reasoning-marker 토큰을 식별하고, 파인튜닝 과정에서 해당 토큰 사용에 페널티를 부여하는 방식으로 만들어졌습니다. 결과적으로 더 짧은 추론 경로를 생성하며, 개발사 측은 과잉 사고로 인한 오류도 줄었다고 밝혔습니다. 여기에 BottleCap AI의 ThinkingCap-Qwen3.6-27B에서 파생된 전이(transfer) 컴포넌트도 포함돼 있습니다. 다만 모델 개발자가 직접 댓글로 밝혔듯, ThinkingCap의 추론 trace로 학습한 것은 아니며, 오히려 Qwen 3.6 trace로 학습하면 Alibaba 측의 RL 개선분과 충돌해 성능이 저하됐을 것이라고 설명했습니다.

벤치마크: 평균 토큰 24~51% 절감, 정확도는 거의 유지

BF16 기준 Qwen3.8-27B 베이스와 Swift 어댑터를 비교한 결과입니다. GPQA-Diamond는 88.38%→88.28%로 사실상 동일한 정확도를 유지하면서 평균 토큰이 15,014→8,855로 41.0% 줄었고, 중앙값 기준으로는 58.3% 감소했습니다. MMLU-Pro는 85.47%→84.95%(-46.2% 토큰), C-Eval은 오히려 90.00%→90.62%로 소폭 상승했습니다. 수학 벤치마크에서는 하락폭이 커서 AIME 2026이 98.67%→94.00%, HMMT가 99.33%→96.00%였습니다. 반면 LiveCodeBench v6는 76.76%→81.55%로 유의미하게 개선됐고, Terminal-Bench 2.1은 66.74%→65.84%였습니다. 개발사는 여러 태스크에서 약 1.95배의 속도 향상을 보고했습니다.

reasoning_effort 설정별 효율과 양자화

Qwen3.8의 reasoning_effort 설정별로 검증한 결과, 토큰 절감 효과는 xhigh(-41.0%), medium(-22.7%), low(-25.8%) 모든 수준에서 유지됐습니다. 흥미로운 지점은 Swift의 xhigh가 베이스의 xhigh와 거의 같은 정확도를 절반 수준의 토큰으로 달성하지만, 베이스의 medium(정확도 84.14%, 평균 4,451토큰)보다는 약 2배의 토큰을 쓴다는 점입니다. 양자화 환경에서도 효과가 지속돼 W4A16 mixed-precision과 AWQ INT4 평가에서 토큰 절감이 유지됐고, AIME에서는 출력 상한 초과로 인한 실패가 31~33% 감소했습니다.

사용 방법과 라이선스

GGUF 버전이 제공돼 llama.cpp 계열 런타임에서 사용할 수 있고, vLLM·SGLang 서빙 레시피와 MTP head를 활용한 self-speculative decoding 옵션도 안내돼 있습니다. 연구 목적으로는 API 키 없이 무료로 쓸 수 있는 OpenAI 호환 API도 열려 있습니다. 라이선스는 Swift Open License v1.0으로, 연 매출 100만 달러 이하의 개인·조직은 상업적 이용까지 무료이며 그 이상은 별도 Enterprise License가 필요합니다.

Reddit 반응

• @Secure_Recording_472 — UkisAI 소속 모델 개발자로, 독립 벤치마크에 감사를 표하며 이 모델이 ThinkingCap trace로 학습된 것이 아님을 명확히 했고, 이번 주 말 Qwen 3.8 Flash Next 버전도 공개한다고 밝혔습니다.
• @fgk55555 — ISTA나 ByteShape에 연락해 양자화 스위트를 돌려보라고 제안하며, IQ3급 양자화와 결합하면 16GB 카드용 어시스턴트·코딩 모델로 강력할 것이라고 평가했습니다.
• @trying4k — 자신에게는 속도보다 Qwen 3.8 27B의 끝없는 반복 루프가 더 큰 병목이라며, 최신 jinja 템플릿으로 바꿔도 q8에서 자주 발생한다고 토로했고, 파인튜닝 모델에는 늘 조심스럽지만 이번 결과는 괜찮아 보인다고 말했습니다.
• @cornucopea — 이른바 'thinking cap', 즉 언제 멈춰야 할지 모르는 문제는 Qwen을 비롯한 중국계 모델의 고질적인 과제였으며, 저렴한 토큰 가격이 실제 태스크 비용 절감으로 이어지지 못했다고 지적했습니다.
• @Easy_Refrigerator280 — 주말에 직접 사용해 간단한 스모크 테스트를 해봤는데 thinking 토큰이 실제로 줄었고 출력 품질도 크게 나빠지지 않았다는 일화성 후기를 남겼습니다.

원문: Reddit / 번역·요약: Trawling