Qwen3.8-27B를 텐서마다 다른 비트 수로 압축 — GSQ·RCO 비균일 GGUF 양자화 공개

본문

로컬 LLM을 돌리는 개발자라면 양자화 수준을 고를 때 늘 용량과 품질 사이에서 타협해 왔습니다. Hugging Face에 공개된 ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF는 이 타협점을 한 단계 밀어 올린 사례입니다. 기존 균일(uniform) 양자화가 모든 가중치 텐서에 동일한 타입을 적용하는 것과 달리, 이 저장소의 모델은 텐서마다 서로 다른 양자화 타입을 배정합니다. 그래디언트 기반 탐색으로 텐서별 민감도에 따라 정밀도를 배분하되 전체 파일 크기 예산을 정확히 지키는 방식입니다. 결과물은 표준 GGUF이므로 llama.cpp, Ollama, LM Studio에서 수정 없이 실행됩니다.

GSQ와 RCO — 두 가지 핵심 기법

이 모델은 두 논문 기반 기법의 조합으로 만들어졌습니다. GSQ(Gumbel-Softmax Quantization)는 사후 학습 스칼라 양자화 기법으로, Gumbel-Softmax 완화를 통해 좌표별 그리드 배정과 그룹별 스케일을 함께 학습합니다. 2~3비트 구간에서 스칼라 양자화와 벡터 양자화 사이의 격차를 대부분 메우면서도 GGUF 같은 표준 스칼라 포맷으로 배포할 수 있다는 것이 장점입니다. RCO(Riemannian Constrained Optimization)는 N개 텐서 각각에 K개 양자화 타입 중 하나를 총 크기 예산 하에 배정하는 기법입니다. 예산 제약을 로짓 공간의 리만 다양체로 재구성해, 태스크 손실에 대해 직접 그래디언트 최적화를 수행하면서 예산을 정확히 만족시키고 제약 관련 하이퍼파라미터 튜닝도 필요 없습니다. 제작 파이프라인은 세 단계입니다. 먼저 모든 가중치 텐서를 후보 GGUF 타입 전부로 GSQ 양자화해 검색 가능한 데이터베이스를 만들고, RCO 탐색으로 목표 비트폭을 맞추는 텐서별 타입을 배정한 뒤, 선택된 변형들을 하나의 표준 GGUF로 조립합니다.

네 가지 용량과 성능 지표

파일은 IQ2_XS(2.50bpw, 8.4GB), IQ2_S(2.75bpw, 9.3GB), IQ3_XXS(3.00bpw, 10.1GB), IQ3_S(3.50bpw, 11.8GB) 네 가지로 제공됩니다. 권장 옵션인 IQ3_S는 'task-lossless' 운용점으로, AIME25 100.00과 LiveCodeBench v6 85.71을 BF16 베이스와 정확히 동일하게 기록하고 GPQA-Diamond에서도 0.51점 차(89.39 대 89.90)에 그칩니다. 태스크 평균 91.70으로 베이스의 91.87 대비 99.8%를 11.8GB, 즉 BF16(53.8GB)의 약 4.6분의 1 크기로 달성한 셈입니다. 비교 대상인 Unsloth Dynamic(UD) 양자화 대비로도 우위입니다. 동일 8.4GB 구간에서 IQ2_XS는 UD-IQ2_S보다 AIME25 +10.00, GPQA-Diamond +8.59, LCB v6 +4.57을 앞서고, IQ3_S는 UD-IQ3_S보다 0.2GB 작으면서 AIME25 +3.33, LCB v6 +1.71 우위입니다. 다만 GPQA-Diamond에서는 UD-IQ3_S가 0.51 앞섭니다. 제로샷 5개 태스크(arc_easy, arc_challenge, hellaswag, winogrande, piqa) 평균 기준 recovery는 모든 GSQ-RCO 변형이 100%를 넘어, 최소 모델조차 베이스를 상회합니다.

멀티모달과 추론 가속 지원

저장소에는 BF16 비전 인코더·프로젝터(mmproj, 0.9GB)도 포함되어 있어 llama-mtmd-cli로 이미지 입력이 가능하며, 하나의 mmproj 파일이 모든 양자화 버전에 공용으로 쓰입니다. 각 양자화에는 약 0.35GB를 추가한 -mtp 빌드도 선택 제공되는데, Multi-Token Prediction 헤드를 담아 llama.cpp의 speculative decoding에 활용할 수 있고 가중치 자체는 동일해 품질 변화가 없습니다. 감사 가능성도 갖췄습니다. tensor-allocation 디렉터리에 텐서별 배정 결과와 타입 히스토그램이 텍스트로 제공되고, 양자화에 사용된 importance matrix(4096토큰 1000청크)도 함께 배포됩니다. 가중치 라이선스는 베이스 모델 Qwen3.8-27B를 따르며, GSQ·RCO 도구는 IST-DASLab 저장소에서 별도 공개되어 있습니다.

원문: Hugging Face / 번역·요약: Trawling