Reddit

[Release] ISTA GSQ-RCO GGUFs for DeepSeek-V4.1-Flash-1017

DeepSeek-V4.1-Flash-1017용 ISTA GSQ-RCO GGUF 공개

ISTA-DASLab이 DeepSeek-V4.1-Flash-1017의 가중치 민감도에 따라 텐서별 양자화 유형을 고르는 GGUF 3종을 공개했습니다. IQ2_XXS는 기준 모델과 세 벤치마크 점수가 같았고, 다만 현재 llama.cpp는 이 모델을 지원하지 않아 Strata가 필요합니다.

에디터 노트

IQ2_XXS는 공개된 세 벤치마크에서 기준 모델과 같은 점수를 내면서 backbone을 138.24GB로 줄였습니다. 다만 이 결과는 reasoning effort 50과 AIME25, GPQA-Diamond, LiveCodeBench v6에 한정되며 IQ2_XS의 점수는 제시되지 않았습니다. 따라서 100% 회복률은 해당 평가 조건의 수치로 읽어야 합니다. 실행 조건도 용량 수치와 함께 봐야 합니다. 12GB VRAM으로 구동하지만 전체 파일은 Engram을 포함해 248.84GB이고 backbone은 시스템 메모리에 둡니다. 현재 llama.cpp 지원도 없어 Strata가 필요합니다. 텐서별 배정표를 공개해 압축 구성을 확인할 수 있다는 점은 재현과 비교에 유용하지만, 실제 사용 환경에서는 저장 공간과 시스템 메모리, 런타임 지원이 선택을 좌우합니다.

AI 요약

DeepSeek-V4.1-Flash-1017은 763.2B 파라미터, 384개 routed expert를 갖춘 희소 MoE 모델입니다. ISTA-DASLab은 이 모델을 GGUF 형식으로 양자화하면서 모든 텐서에 같은 양자화 유형을 적용하는 대신, 텐서마다 유형을 다르게 배정하는 GSQ-RCO 방식을 사용했습니다.

GSQ-RCO의 텐서별 양자화

GSQ(Gumbel-Softmax Quantization)는 주어진 양자화 유형에서 각 텐서의 좌표별 양자화 격자 배정과 그룹별 스케일을 함께 학습하는 사후 학습 스칼라 양자화 방법입니다. RCO(Riemannian Constrained Optimization)는 총 크기 예산 안에서 텐서마다 적용할 양자화 유형을 정합니다. 로그잇 공간의 예산 제약을 매끄러운 리만 다양체로 바꿔, 예산을 정확히 지키면서 작업 손실을 기준으로 탐색합니다.

각 텐서는 후보 양자화 유형별 GSQ 결과를 담은 데이터베이스에 들어가고, RCO가 목표 평균 비트 수에 맞는 조합을 고릅니다. 선택된 결과를 조립하면 표준 GGUF 파일이 됩니다. 전체 1008개 텐서에 대한 할당 내역과 양자화 유형별 분포를 기록한 파일도 함께 제공해 배정을 살펴볼 수 있습니다.

밀집 텐서와 routed expert 행렬에는 별도의 양자화 후보군을 사용합니다. attention, shared expert, embedding, output head는 Q5_K, Q6_K, Q8_0 중에서 고릅니다. 파라미터 대부분을 차지하는 routed expert는 IQ1_S부터 IQ3_S까지의 유형을 사용합니다. GGUF는 expert별로 양자화 유형을 지정하지 못하므로 routed expert는 레이어별로 배정합니다.

파일 크기와 평가 결과

제공 모델은 IQ1_M, IQ2_XXS, IQ2_XS 세 가지입니다. backbone은 각각 120.72GB, 138.24GB, 155.23GB이며, 모든 빌드가 공유하는 Engram 파일은 110.60GB입니다. 전체 다운로드 크기는 순서대로 231.32GB, 248.84GB, 265.83GB입니다. Engram은 두 개의 조회 테이블로 이루어져 있으며 IQ4_NL, 4.50bpw로 고정 양자화했습니다. backbone의 평균 비트 폭인 bpw는 1.75, 2.00, 2.25입니다.

기준 모델은 FP8 밀집 가중치와 FP4 routed expert를 사용합니다. reasoning effort 50에서 AIME25, GPQA-Diamond, LiveCodeBench v6를 평가했습니다. 기준 모델의 점수는 각각 100.00, 90.91, 89.71이고 평균은 93.54입니다. IQ2_XXS는 세 점수 모두 기준 모델과 같아 평균 93.54, 회복률 100.0%를 기록했습니다. IQ1_M은 100.00, 88.38, 88.57로 평균 92.32, 회복률 98.7%였습니다. IQ1_M은 IQ2_XXS보다 전체 크기가 17.5GB 작고 평균 점수는 1.22점 낮습니다. IQ2_XS의 크기는 공개했지만 이 벤치마크 표에는 평가 점수가 없습니다.

실행 조건과 런타임

2026년 10월 23일 기준 llama.cpp는 DeepSeek-V4.1을 지원하지 않습니다. 따라서 현재 제공 GGUF는 Strata에서 실행해야 합니다. Strata는 12GB VRAM의 단일 NVIDIA GPU에서 모델을 실행하며, backbone은 시스템 메모리에 두고 Engram 테이블은 SSD에서 메모리 매핑해 필요한 행을 읽습니다. 표의 전체 파일 크기가 GPU 메모리 요구량을 뜻하지는 않습니다.

각 backbone은 네 개의 shard로 나뉘며 Engram 파일은 모든 빌드에서 공유하므로 한 번만 받으면 됩니다. Engram 파일을 backbone shard와 같은 디렉터리에 두어야 합니다. GGUF에는 DeepSeek의 encoder가 쓰는 프롬프트 형식과 reasoning effort 설정을 재현하는 chat template도 포함됩니다. llama.cpp 지원 이후 사용할 다운로드 및 실행 명령도 저장소에 안내되어 있습니다.

원문: Hugging Face / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗