NVIDIA Nemotron 3.5 Super VL 공개: 120B 모델과 MTP 추론 가속

AI 요약

NVIDIA Nemotron 3.5 Super VL은 텍스트, 이미지, 동영상을 입력받아 추론과 코딩, 도구 사용, 문서·동영상 이해를 수행하는 비전-언어 모델입니다. 이번 페이지는 BF16 전체 정밀도 가중치를 공개하며, 도메인 데이터로 추가 학습하거나 양자화 버전을 만들고 모델을 평가하려는 개발자를 대상으로 합니다. 모델 계열에는 base, NVFP4, BF16과 LiLiCorr speculative decoding이 포함됩니다. 라이선스는 OpenMDW-1.1이며 상업적·비상업적 이용을 허용한다고 안내합니다.

구조와 학습

모델은 총 1,200억 파라미터 중 토큰당 120억 파라미터를 활성화합니다. Mamba-2, Mixture-of-Experts(MoE), attention 층을 교차 배치하고, C-RADIO 비전 인코더와 비전-언어 연결기를 붙였습니다. MoE 층마다 라우팅 전문가 512개를 두며, 최대 문맥 길이는 100만 토큰입니다. 입력 이미지와 동영상 프레임, 대화 기록, 도구 결과, 출력 토큰이 모두 문맥 창을 나눠 씁니다.

학습 과정은 여섯 단계로 공개했습니다. Nemotron 3 Super Base에 연결한 MTP 헤드를 1,000억 토큰 동안 학습한 뒤 Nemotron 3 Ultra Base에서 1조 토큰을 증류합니다. 이어 인도어 데이터 1,000억 토큰을 추가 학습하고, 350억 토큰으로 문맥 길이를 100만 토큰까지 확장합니다. 소프트웨어 엔지니어링 데이터 670억 토큰을 25만 6,000토큰 문맥에서 학습하고 장문맥 복구 단계를 거칩니다. 이후 이미지와 동영상 학습, 지도 미세 조정, 검증 가능한 보상 기반 강화학습과 인간 피드백 강화학습, 다중 교사 증류를 진행합니다. 마지막으로 MTP 헤드를 별도 학습해 speculative decoding의 토큰 수용률을 높입니다.

실행과 추론 설정

NVIDIA가 제시한 BF16 vLLM 실행 구성은 H100 4개이며, 최적화된 NVFP4 모델은 별도 페이지를 안내합니다. GB200 2개 구성도 제시합니다. vLLM과 SGLang에서 API 서버를 띄우고 OpenAI 호환 클라이언트로 호출할 수 있습니다. MTP는 별도 초안 모델을 받지 않고 모델의 내장 헤드를 사용합니다. vLLM에서는 추측 토큰 수를 설정하고, SGLang 예제는 EAGLE 방식을 사용합니다.

이미지와 동영상 입력은 요청당 각각 하나로 제한하는 예제를 제공합니다. 동영상은 초당 2프레임으로 최대 256프레임을 샘플링하며, 1080p 영상은 초당 1프레임·최대 128프레임 설정을 권합니다. 추론 모드는 채팅 템플릿에서 끄거나 켤 수 있고, 중간 수준 설정은 생성 토큰을 줄이는 대신 정확도에 영향을 줄 수 있다고 설명합니다.

벤치마크

공개 표에서 Nemotron은 GPQA-Diamond 89.52점, GraphWalks 89.71점, APEX shortlist 88.36점을 기록했습니다. 반면 MMLU-ProX는 76.91점으로 비교 모델 다수보다 낮고, SWE-bench Verified는 71.10점, Terminal-Bench 2.1은 60.67점입니다. Qwen3.8-Flash-Next의 같은 항목 점수는 각각 78.7점과 85.80점입니다. 시각 과제에서도 MathVision 78.16점으로 Qwen3.8-Flash-Next의 87.5점보다 낮습니다. 결과는 NeMo Gym 평가와 공개 레시피를 기반으로 했다고 NVIDIA는 밝힙니다. 일부 시각 벤치마크는 자체 도구에 아직 포함되지 않아 공식 구현이나 추후 공개할 내부 실행 틀을 사용했다고 덧붙입니다.

Reddit 반응

• @u/geldonyetich — Unsloth가 벌써 가중치를 올렸네요. 오픈 모델 경쟁에 작은 선물이 될지 기대됩니다. 모델 카드 기준으로 Qwen 3.8 Coder만큼은 아니지만 Flash Next보다 거의 두 배 빠르고 에이전트 코딩 품질은 Inkling Small과 비슷하다고 합니다. 코딩 밖의 과제에서는 더 나은 편입니다.
• @u/MoralityAuction — 요약하면 Qwen 3.8 FN보다는 못하지만 대략 비슷한 범위입니다. 벤치마크에 맞춰 조정한 게 아니라면요. DeepSWE 점수가 FN의 절반이라는 점도 확실히 드러납니다. 대부분 과제에서 더 낫지 않고 가끔 크게 뒤처집니다. 그래도 100만 토큰 문맥은 장점입니다.
  • @u/Comrade-Porcupine — 여기서 중요한 건 디코딩이 빠르고 사용자가 직접 미세 조정하거나 연구할 기반 모델이라는 점이라고 봅니다. Nemotron 모델은 대체로 그런 용도입니다. 배포 직후부터 최고 성능을 내는 모델이 목표는 아닙니다.
• @u/bugra_sa — base, BF16, NVFP4가 한꺼번에 나와 평가하기 훨씬 편합니다. 그래도 같은 프롬프트 묶음으로 VRAM당 품질과 초당 토큰 수를 함께 보고 싶습니다. 그렇지 않으면 "120B-A12B"라는 표기만으로 실제 실행 가능성을 알기 어렵습니다.
• @u/ttkciar — 1,200억 파라미터급 모델이 또 나온 점이 반갑고 오픈 웨이트를 넘어 학습 데이터와 레시피도 공개했다고 읽었습니다. 코드 생성과 에이전트 과제 중심으로 보이며 범용 모델과 같은 성격을 기대하지는 않습니다. Mamba-2와 Transformer 구조, 문서 이해 학습이 RAG에 잘 맞을지 살펴보고 싶습니다. 모델 카드에는 Transformer 층의 attention 방식이나 기술 논문 링크가 없습니다.
• @u/No_Algae1753 — 이 모델이 Qwen 3.8 Flash Next보다 빠른 게 맞나요? 활성 파라미터가 120억인데 60억인 모델보다 어떻게 빠르죠?
  • @u/jinnyjuice — DFlash 모델, LiLiCorr speculative decoding 모델, Mamba 블록 때문입니다.
• @u/Powerful_Finger3896 — NVIDIA 모델이 후속 학습을 염두에 두고 만들어졌다는데도 미세 조정 모델을 만드는 사람이 거의 없는 점이 아쉽습니다. 직접 실행할 하드웨어는 없지만 3.5 Lightning 기반 모델이 나오면 좋겠습니다.
• @u/computehungry — Q8로 시험했는데 품질뿐 아니라 지시 이행도 좋지 않았습니다. IFBench 점수도 낮습니다. 다중 턴에서 앞 대화를 잊고, thinking 보존도 현재 작동하지 않았습니다. 다중 턴 용도로 이 모델을 좋다고 평가하는 사람을 신뢰하기 어렵겠다고까지 말하고 싶습니다.

원문: Hugging Face / 번역·요약: Trawling