Qwen3.8-27B TURBO 파인튠 공개 — 사고 토큰을 최대 1/10로 줄이고 ARC-C 0.735 달성 주장

본문

Hugging Face에서 활동하는 파인튠 제작자 DavidAU가 Qwen3.8-27B 기반의 다단계 파인튠 모델을 GGUF 형태로 공개했습니다. 이름에 붙은 '735-882'는 각각 ARC-C 0.735와 ARC-E 0.882 점수를 의미하며, 제작자는 이 점수대가 지금까지 OpenAI, Claude, Gemini 같은 클로즈드 모델의 영역이었다고 주장합니다. 'TURBO'라는 명칭은 추론 토큰 수를 대폭 줄인 데서 유래했습니다.

핵심 특징: 추론 토큰 대폭 감소

이 모델의 가장 큰 특징은 사고(thinking) 블록 크기입니다. 기본 Qwen3.8-27B가 수천~수만 토큰의 추론을 거친 뒤 출력을 생성하는 반면, 이 모델은 추론 토큰을 절반에서 최대 10분의 1(중앙값 약 3분의 2 감소)까지 줄이면서 출력의 상세도와 품질은 유지한다고 설명합니다. Qwen3.8이 지원하는 xhigh(기본값), medium, low 세 가지 추론 모드 모두에서 동일하게 적용됩니다. 추론 블록을 더 줄이려면 프롬프트를 더 구체적으로 작성하면 되고, 반대로 '위치와 요소를 꼼꼼히 확인하라' 같은 지시를 추가하면 모델이 더 오래 생각하게 만들 수 있습니다. 다만 제작자는 추론 동작의 수정이 큰 변화이므로 자신의 용도에 맞는지 충분히 테스트하라고 권고합니다.

벤치마크 수치

Nightmedia가 측정한 결과에 따르면, 이 모델은 mxfp8 기준 ARC-C 0.735, ARC-E 0.882, BoolQ 0.917, HellaSwag 0.832, OpenBookQA 0.530, PIQA 0.837, Winogrande 0.785를 기록했습니다. mxfp4에서도 ARC-C 0.719로, 4bit가 8bit 성능의 99% 수준이라고 설명합니다. 비교 대상인 기본 Qwen3.8-27B는 mxfp8에서 ARC-C 0.591, Qwen3.6-27B는 0.647, Qwen3.6-35B-A3B-Instruct는 0.581, Qwen3.5-27B는 0.557이었습니다. 제작자는 7개 핵심 벤치마크 모두에서 이들 모델을 상회하며, BF16 전체 정밀도는 mxfp8보다 대부분의 지표에서 2~5점 더 높다고 덧붙였습니다. 테스트는 Instruct 모드로 진행됐고, thinking 모드에서는 대부분 이보다 높게 나온다고 주장합니다.

훈련 방법: COLD FUSION과 Fable Fusion

이 모델은 다단계 파인튠과 다단계 머지(merge)의 결과물입니다. 핵심 기법은 'COLD FUSION'으로, 제작자 팀이 개발한 'GAIN' 방법론에 Unsloth의 트레이너를 결합한 것입니다. GAIN은 학습 중 모델이 배우는 상태에 따라 샘플 단위로 학습을 실시간 동적 조정하는 방식으로, 과도한 학습(overcooking) 없이 지표를 끌어올렸다고 설명합니다. 여기에 Fable Fusion 711 훈련과 Heretic 방식의 디센서링(검열 해제)이 결합됐습니다. 디센서링 수치로는 1단계에서 KL divergence 0.0535, 거부율 0/100(원본 99/100), 2단계에서는 KL divergence 0.0025에 거부율 11/100로 균형을 맞췄다고 밝힙니다. Nightmedia(머지·벤칭), TeichAI(Polaris 데이터셋), armand0e, trohrbaugh, nbeerbower 등이 참여한 협업 프로젝트이며, 같은 팀이 만든 11개의 Qwen3.8-27B 계열 모델 중 하나입니다. 제작자는 'benchmaxing'(벤치마크 과적합)을 하지 않았다고 강조합니다.

GGUF 쿼런트와 MTP, 속도

모든 쿼런트는 'NEO IMATRIX'(dual imatrix) 방식으로 일반 GGUF 대비 정확도 2~4% 향상과 긴 컨텍스트 성능 개선을 주장하며, 출력 텐서는 16bit 전체 정밀도로 처리했습니다. MTP 쿼런트는 Multi-Token Prediction 텐서를 Q8_0으로 설정했고, RTX 5090·Windows 11·LMStudio 환경에서 Q4_K_S 일반 쿼런트가 약 75 t/s인 반면 MTP 쿼런트는 토큰 수용률 60% 기준 90 t/s를 넘는다고 합니다. 다만 토큰 수용률이 50% 미만이면 일반 쿼런트가 더 빠르므로 두 종류를 모두 받아 비교하길 권합니다. 메모리를 줄인 'LOW' 쿼런트(IQ4_XS, Q6_K)도 별도로 제공되며, 비전 기능은 별도 mmproj 파일이 필요합니다. 컨텍스트는 256k를 지원합니다.

사용 설정과 주의점

툴 콜링은 최소 Q4_K_M 이상, Q6을 권장하며 temperature 0.6~0.7, repetition penalty 1(해제)을 제안합니다. 일반 권장 설정은 thinking 모드에서 temperature 1.0, top_p 0.95, top_k 20, 정밀 코딩 작업은 temperature 0.6, Instruct 모드는 temperature 0.7, top_p 0.80, presence_penalty 1.5입니다. 추론 강도는 Jinja 템플릿 상단에 reasoning_effort를 'medium' 또는 'low'로 지정해 바꿀 수 있고, LMStudio에서는 개발자 모드에서 수정 가능합니다. KoboldCpp, text-generation-webui, SillyTavern에서는 Smoothing factor 1.5를 권장합니다. 언센서드 모델 특성상 거부는 하지 않지만 노골적 콘텐츠는 수위를 지시해 '밀어줘야' 기대 수준의 출력이 나온다고 안내합니다. 제작자는 소비자용 하드웨어에서 구동 가능한 가장 강력한 오픈소스 파인튠을 표방하며, 카드 하단에 5개의 상세 생성 예시를 함께 실었습니다.

원문: Hugging Face / 번역·요약: Trawling