DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored-NM-DAU-NEO-MTP-GGUF
Qwen3.8-27B TWIN-TURBO 파인튜 GGUF — 추론 토큰을 최대 1/20까지 줄인 로컬 LLM
Hugging Face의 DavidAU가 Qwen3.8-27B를 다단계 파인튜닝·머지한 TWIN-TURBO 모델을 공개했습니다. 추론(thinking) 토큰을 1/2에서 최대 1/20까지 줄이면서도 출력 품질을 유지하고, 5개 추론 모드와 추론 토큰을 전혀 쓰지 않는 5개 instruct 모드를 채팅 중 실시간 전환할 수 있습니다. 제작자 측정 기준 ARC-C 709(8bit), 701(4bit)로 베이스 모델 대비 118점 높다고 주장합니다.
- 주제
본문
DavidAU가 Hugging Face에 공개한 이 모델은 Qwen3.8-27B를 기반으로 한 다단계 파인튜닝·머지 모델로, Unsloth를 이용해 소비자용 하드웨어에서 제작되었다고 소개합니다. 이름의 'TWIN-TURBO'는 추론 토큰을 절반에서 최대 20분의 1까지 줄이면서 출력의 디테일과 품질을 유지한다는 설계에서 나왔습니다. 레포에는 일반 GGUF와 MTP(Multi-Token Prediction) 쿼런트가 모두 포함되어 있습니다.
학습 방법: Cold Fusion과 Fable Fusion 711
제작팀이 개발했다고 밝힌 'COLD FUSION'은 자체 개발한 'GAIN' 컴포넌트와 Unsloth 트레이너를 결합한 방식입니다. GAIN은 학습 중 샘플 단위로 실시간·동적으로 학습 방식을 변경하며, 과적합 없이 지표와 전반적 성능을 개선했다고 설명합니다. 4bit 성능이 8bit의 99% 수준이 되었다는 주장도 이 방식의 결과로 제시됩니다. 여기에 'Fable Fusion 711' 학습법과 Heretic 기반 디센서링이 결합되었고, Nightmedia(머지·벤치마킹), TeichAI(Polaris 데이터셋), armand0e(Fable traces), trohrbaugh(heretic 처리), nbeerbower 등의 협업으로 만들어졌습니다. Claude Opus 추론 흔적과 GPT5(Polaris, non-reasoning) 계열 데이터셋도 일부 포함되었다고 밝힙니다.
5개 추론 모드와 5개 instruct 모드
추론 모드는 기본 'xhigh', 'medium', 'low' 외에 두 가지가 추가되었습니다. 'spoon'은 ULTRA xhigh 수준의 리서치 모드로 추론 토큰을 더 사용하고, 'einstein'은 최대 20개의 가상 에이전트를 생성해 문제를 푸는 high 모드입니다. instruct 모드는 'ispoon', 'ieinstein', 'ixhigh', 'imedium', 'ilow'의 5종으로 모두 추론 토큰을 0 사용합니다. 전환은 채팅 메시지에 {REASON:einstein} 같은 태그를 넣어 즉시 가능하며, 현재 채팅 내에서 유지되고 스트림에서 자동 제거됩니다. API에서는 reasoning_effort와 enable_thinking kwargs로 설정하거나 Jinja 템플릿 상단을 수정해 기본값을 바꿀 수 있습니다.
쿼런트 구성: NEO imatrix, MTP, TOOLS
모든 쿼런트는 NEO imatrix 방식으로, 일반 GGUF 대비 정확도 2~4% 향상과 긴 컨텍스트 성능 개선을 주장합니다. MAX 쿼런트는 출력 텐서의 10~20%를 16bit 풀 프리시전으로 유지합니다. MTP 쿼런트는 MTP 텐서가 Q8_0으로 설정되어 있으며, RTX 5090·Windows 11·LMStudio 기준 Q4_K_S에서 일반 약 75 t/s 대비 MTP가 90 t/s 이상이라고 합니다. 단 토큰 수용률이 50% 미만이면 일반 쿼런트가 더 빠르므로 둘을 비교 테스트하라고 권장합니다. 파일명에 'tools'가 붙은 GGUF는 툴/에이전트 호출 오류 검사를 강화한 변형입니다.
벤치마크와 디센서링 수치
Nightmedia 측정 기준 mxfp8에서 ARC-C 0.709, mxfp4에서 0.701로, 베이스 Qwen3.8-27B(각 0.591/0.581), Qwen3.6-27B(0.647), Qwen3.6-35B-A3B(0.581)를 모두 상회한다고 제시합니다. 측정은 instruct 모드로 이뤄졌으며 thinking 모드에서는 대부분 더 높다고 주장합니다. 디센서링은 Heretic v1.2.0+커스텀의 ARA 방식으로, 이 리포의 'L' 버전은 거절 68/100·KLD 0.0025, 별도 ULTRA-HERETIC 버전은 6/100·KLD 0.0397입니다. 노골적 콘텐츠는 요청을 거부하지 않지만 수위를 맞추려면 구체적 지시가 필요하다고 안내합니다.
사용 설정과 유의점
권장 설정은 thinking 일반 작업 temp 1.0·top_p 0.95·top_k 20, 정밀 코딩 temp 0.6, instruct는 temp 0.7·top_p 0.80·presence_penalty 1.5입니다. 툴 콜링은 Q4_K_M 이상, Q6 계열을 권장하고 캐싱을 과도하게 쓰면 성능이 저하될 수 있다고 합니다. 컨텍스트는 256k를 지원하고 비전은 별도 mmproj 파일이 필요합니다. 추론 방식 수정이 모델의 주요 변경이므로 사용 사례별 테스트를 권장하며, 추론 토큰을 더 쓰게 하려면 프롬프트에 검증·상세 요구를 추가하면 된다고 설명합니다.
원문: Hugging Face / 번역·요약: Trawling