nvidia/Qwen3.8-Flash-Next-FP4-Local
NVIDIA Qwen3.8-Flash-Next FP4 로컬 모델
NVIDIA가 Alibaba Qwen3.8-Flash-Next를 FP4로 양자화한 로컬 배포용 체크포인트를 공개했습니다. 파일 크기는 약 96GiB이며, 검증된 실행 환경은 NVIDIA Blackwell GPU와 특정 커뮤니티 vLLM 컨테이너입니다. GPQA Diamond 정확도는 BF16 기준 92.2%에서 FP4 기준 91.5%로, ToolEvalBench는 89.4%에서 88.7%로 낮아졌습니다.
- 주제
에디터 노트
FP4 양자화로 줄인 모델을 로컬에서 돌리려는 목적은 분명하지만, 현재 배포 조건은 체크포인트만 내려받아 일반 vLLM에서 실행하는 수준이 아닙니다. 스케일 형식을 지원하는 커뮤니티 컨테이너와 B12X 관련 설정이 필요하고, 검증 결과도 RTX PRO 6000 Blackwell과 DGX Spark에 한정됩니다. 성능 수치에서는 BF16 대비 GPQA Diamond와 ToolEvalBench 모두 0.7%포인트 낮습니다. 따라서 이 자료가 뒷받침하는 범위는 해당 하드웨어와 지정 런타임에서의 실행 및 두 벤치마크 결과입니다. 96GiB라는 저장 용량만으로 다른 GPU에서의 메모리 요구량이나 처리량을 판단할 근거는 제시하지 않습니다.
AI 요약
NVIDIA Qwen3.8-Flash-Next-FP4-Local은 Alibaba의 Qwen3.8-Flash-Next를 NVIDIA Model Optimizer로 양자화한 체크포인트입니다. NVIDIA는 이 모델을 개발하거나 소유하지 않았으며, 배포용 애플리케이션 요구에 맞춰 제3자가 개발한 기반 모델을 FP4 QAD 1.0으로 변환했다고 설명합니다. 체크포인트 용량은 약 96GiB입니다. 로컬 AI 하드웨어를 대상으로 하며, NVIDIA Blackwell GPU와 Linux, vLLM을 실행 환경으로 제시합니다.
모델은 총 125B 파라미터 가운데 6B를 활성화합니다. 여기에 51B 규모의 n-gram 임베딩과 4B MTP가 포함됩니다. 텍스트, 이미지, 비디오를 입력으로 받으며, 기본 문맥 길이는 262K 토큰이고 최대 1,000,000 토큰까지 확장할 수 있다고 명시합니다. 구조에는 Gated DeltaNet과 Qwen Sparse Attention을 결합한 hybrid attention, Mixture-of-Experts, gated residual stream이 포함됩니다.
양자화와 학습
양자화 인식 증류(QAD)는 BF16 교사가 생성한 응답과 토큰별 확률, hidden state를 학습 대상으로 삼습니다. 학습 중 NVFP4와 MXFP8 가중치를 양자화하고 복원한 뒤, 저정밀 표현이 교사 출력을 따르도록 가중치를 갱신합니다. 목적 함수에는 다음 토큰 확률을 맞추는 total variation, hidden-state matching, 응답 종료와 추론 종료 시점을 다루는 별도 손실이 들어갑니다.
학습은 Quatrain distillation trainer로 진행합니다. 먼저 trunk 업데이트 2,500회를 수행하고, 이어 n-gram 임베딩 테이블과 MXFP8 shared-expert 가중치 시뮬레이션을 포함한 joint-refinement 업데이트 1,500회를 수행합니다. joint refinement 동안 attention 가중치는 고정하고 MXFP8 가중치를 사용합니다. 디코더 routed expert는 NVFP4 E2M1 값과 E4M3 블록 스케일을 쓰며, 디코더 attention은 MXFP8입니다. 비전 attention 선형 계층은 MXFP8, 비전 MLP와 merger 선형 계층은 NVFP4를 사용합니다. 정규화 매개변수 일부는 FP32, 나머지 일부는 BF16으로 보존합니다.
평가 결과와 하드웨어
GPQA Diamond에서 BF16 기준 점수는 92.2%, FP4-Local은 91.5%입니다. 모의 도구를 사용하는 다중 단계 에이전트 평가 ToolEvalBench에서는 각각 89.4%, 88.7%입니다. 두 벤치마크 모두 체크포인트의 FP4 점수가 BF16 기준보다 낮지만 차이는 각각 0.7%포인트입니다. 테스트 하드웨어는 NVIDIA DGX Spark와 RTX PRO 6000 Blackwell입니다. RTX PRO 6000 Blackwell 단일 GPU에서는 PLE, 즉 n-gram 임베딩 테이블을 오프로드한 상태로 FP8 KV cache 850K 토큰을 검증했습니다. DGX Spark에서는 PLE 오프로드 여부와 관계없이 실행했으며, 오프로드를 적용했을 때 FP8 KV cache 1M 토큰을 보고했습니다.
실행 조건
NVFP4 스케일 팩터가 새로운 무손실 압축 형식으로 저장되어 아직 upstream vLLM에 지원이 반영되지 않았습니다. 따라서 모델 카드가 제공하는 커뮤니티 컨테이너 중 하나를 사용해야 합니다. 실행 예시는 Local Inference Lab과 협력한 eugr/spark-vllm-b12x 컨테이너와 ghcr.io/local-inference-lab/vllm:release-10152026을 제시합니다. 두 방식 모두 컨테이너에서 vLLM을 실행하며, 모델 카드에는 B12X 커널과 메모리 설정, 양자화 형식, KV cache, 추론 옵션을 지정하는 명령이 포함됩니다. 단순 실행 명령과 환경 변수를 직접 설정하는 상세 명령도 각각 제공됩니다.
다운로드에는 NVIDIA Open Model Agreement가 적용됩니다. 기반 Qwen3.8-Flash-Next에는 Qwen Community License 1.0이 적용됩니다. 학습 데이터 설명에는 Nemotron 데이터셋 일부의 프롬프트를 합성에 사용했으며, 합성 추론, 코드, 과학, 도구 사용, 지시 수행, 구조화 출력, 다국어 작업 등을 포함한 5억 토큰을 3회 반복 학습했다고 적혀 있습니다. 모델 카드에는 웹에서 수집된 데이터의 편향과 유해 표현을 재생산할 수 있고, 배포 전 사용 사례에 맞춘 안전성 테스트와 튜닝이 필요하다고 명시합니다.
원문: Hugging Face / 번역·요약: Trawling