nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4
NVIDIA Nemotron 3.5 Super VL 120B NVFP4 공개
NVIDIA가 텍스트, 이미지, 동영상을 처리하는 Nemotron 3.5 Super VL의 NVFP4 양자화 체크포인트를 공개했습니다. 전체 120B, 활성 12B 파라미터의 Mamba-2·Transformer 하이브리드 MoE 모델로, 최대 1M 토큰 문맥과 Multi-Token Prediction을 지원합니다. 모델 카드에는 하드웨어별 배포 설정과 BF16 체크포인트를 비교한 벤치마크 결과도 담겼습니다.
- 주제
에디터 노트
NVFP4 체크포인트는 메모리 절감과 BF16에 가까운 점수를 함께 제시하지만, 모든 작업에서 성능이 유지되는 것은 아닙니다. 공개 비교에서 SWE-bench Verified와 Video-MME v2는 거의 비슷한 반면 MMLU-ProX는 3.15점, 오프라인 WebVoyager는 11.41점 낮습니다. 따라서 평균적인 유사성만으로 특정 에이전트 작업의 품질을 판단하기 어렵습니다. 배포 안내의 하드웨어별 설정은 실용적이지만, 1M 토큰 문맥 지원이 곧 모든 환경에서의 동시 처리량을 뜻하지는 않습니다. 카드도 GPU 메모리와 동시 요청 수에 따라 설정을 조정한다고 밝히며 DGX Spark 전용 예제는 동시 요청 하나로 제한합니다. 공개된 모델과 레시피는 자체 인프라에서 평가할 출발점을 제공하지만, 실제 성능 판단은 사용할 하드웨어와 요청 형태에 맞춰야 합니다.
AI 요약
NVIDIA가 공개한 NVIDIA Nemotron 3.5 Super VL NVFP4는 추론, 코딩, 도구 사용, 문서 이해와 동영상 이해를 겨냥한 비전-언어 모델입니다. 전체 파라미터는 120B이며 토큰당 활성 파라미터는 12B입니다. NVFP4 양자화와 BF16 모델을 이용한 양자화 인지 증류(quantization-aware distillation)로 메모리 요구량을 낮췄습니다. 사용 조건은 OpenMDW License Agreement 1.1을 따르며 상업적·비상업적 사용이 가능합니다.
모델 구조와 입력
언어 백본은 Mamba-2와 Transformer 어텐션, 전문가 혼합(Mixture of Experts, MoE) 계층을 교차 배치한 구조입니다. MoE 계층마다 라우팅 전문가 512개를 두고, C-RADIO 비전 인코더와 비전-언어 커넥터로 이미지와 동영상을 처리합니다. 텍스트, 이미지, 동영상을 입력받아 텍스트를 출력하며 최대 문맥 길이는 1M 토큰입니다. 프롬프트와 시각 입력, 대화 기록, 도구 결과, 생성 응답이 모두 같은 문맥 한도를 공유합니다. 실제 배포에서는 GPU 메모리와 동시 요청 수에 따라 설정 가능한 문맥 길이가 달라집니다.
Multi-Token Prediction(MTP)은 여러 미래 토큰을 예측해 speculative decoding을 지원합니다. DGX Spark용 배포 레시피에는 별도의 LiLiCorr 초안 모델도 제공됩니다. 이 방식은 후보 토큰 묶음을 만들고 경량 상관성 헤드로 인접 위치의 호환 후보를 고른 뒤, 본 모델이 검증합니다. 모델 카드는 올바른 speculative verification으로 출력 분포를 유지한다고 설명합니다. 추론 수준은 채팅 템플릿에서 끄기, 중간, 켜기로 조절합니다. 중간 설정은 켜기보다 생성 토큰 수를 줄이는 대신 정확도에 영향을 줄 수 있다고 명시합니다.
학습과 배포
학습은 7단계로 구성됩니다. Nemotron 3 Super Base 백본을 초기화한 뒤 백본을 고정하고 MTP 헤드를 100B 토큰으로 학습했으며, 이어 Nemotron 3 Ultra Base에서 1T 토큰을 증류했습니다. 이후 인도 언어 데이터 100B 토큰, 1M 문맥 확장을 위한 35B 토큰, 256K 문맥의 소프트웨어 엔지니어링 데이터 67B 토큰, 장문맥 복구 9B 토큰으로 계속 사전학습했습니다. 소프트웨어 엔지니어링 데이터에는 저장소, 이슈와 풀 리퀘스트 쌍, 커밋 diff, 빌드·CI 로그와 에이전트 궤적이 포함됩니다.
비전 학습에서는 C-RADIO 인코더와 커넥터를 더해 이미지, 문서 페이지, 동영상 프레임을 처리합니다. 이후 비전, 추론, 코드, 도구, 대화, 안전, 장문맥 데이터를 대상으로 지도 미세조정(SFT)을 진행하고, 검증 가능한 보상 기반 강화학습과 인간 피드백 기반 강화학습, 교사 모델 증류를 적용했습니다. 마지막으로 NVFP4 양자화와 양자화 인지 증류를 수행했습니다. 비전 인코더와 커넥터, Mamba 합성곱, 임베딩은 BF16으로 유지하고 MoE 라우터는 FP32로 둡니다. 추론 정밀도는 Blackwell에서 W4A4, 다른 플랫폼에서는 설정에 따라 W4A16입니다.
모델 카드는 vLLM, SGLang, TensorRT-LLM 배포 예제를 제공합니다. 대상 하드웨어로 DGX Spark, H100 2장, H200 1장, GB200 1장을 제시하며 설정별 동시 요청 수와 MTP 길이는 다릅니다. 예를 들어 DGX Spark 전용 vLLM 예제는 요청 하나를 처리하고 LiLiCorr로 초안 토큰 7개를 사용합니다. 별도 vLLM 설정은 H100 2장 또는 H200 1장에서 텍스트·이미지·동영상과 1M 문맥을 지원하도록 구성합니다. 동영상 예제는 초당 2프레임, 최대 256프레임을 샘플링하며 1080p 영상에는 초당 1프레임과 최대 128프레임을 권합니다. 성능은 하드웨어, 요청 길이와 동시성에 따라 달라집니다.
BF16과 NVFP4 벤치마크
NVIDIA가 공개한 비교에서는 평가 설정과 하네스, 모델 외 변수는 고정했습니다. NVFP4 점수는 BF16과 대체로 비슷하지만 과제별 차이가 있습니다. GPQA-Diamond는 89.52에서 89.90으로, Terminal-Bench 2.1은 60.67에서 62.78로 올랐습니다. 반면 MMLU-ProX는 76.91에서 73.76으로, WebVoyager 오프라인 점수는 77.72에서 66.31로 내려갔습니다. SWE-bench Verified는 71.10과 71.07로 거의 같고, Video-MME v2는 32.85에서 32.54로 소폭 낮아졌습니다. 모델 카드는 NeMo Gym 레시피와 재현성 튜토리얼을 공개해 프롬프트, 추론 설정, 파서와 점수 계산 방법을 확인할 수 있다고 설명합니다.
원문: Hugging Face / 번역·요약: Trawling