Nemotron 3.5 Super VL — 전문 에이전트를 위한 NVIDIA 오픈 멀티모달 모델

Product Hunt 페이지는 제목에 Nemotron 3.5 Super VL을 내걸었지만 본문에서는 Nemotron 3.5 Bolt 24GB를 소개합니다. NVIDIA는 24GB 메모리에서 로컬 에이전트 작업을 실행하도록 모델을 압축했으며 RTX Spark에서 초당 84토큰을 기록했다고 밝혔습니다.

주제: AI 로컬 추론 오픈소스

에디터 노트

페이지 제목은 Super VL을 내세우지만 실제 설명은 이를 압축한 파생 모델인 Bolt에 집중합니다. 따라서 출시 정보의 기준은 제목보다 본문에 적힌 74B 전체, 9B 활성 구성과 24GB 메모리 조건입니다. NVIDIA가 제시한 초당 84토큰은 RTX Spark 기준이며 본문에는 측정 설정이나 비교 조건이 없습니다. 댓글은 2비트 양자화와 벤치마크 순위를 보태지만 페이지 본문이 이를 뒷받침하지 않으므로 NVIDIA의 설명과 같은 수준의 근거로 볼 수 없습니다.

AI 요약

Product Hunt 페이지 제목은 Nemotron 3.5 Super VL을 가리키지만 본문에 소개된 제품은 Nemotron 3.5 Bolt 24GB입니다. NVIDIA는 Bolt를 RTX와 DGX Spark에서 일상적인 에이전트 작업을 로컬로 실행하는 모델이라고 설명합니다.

모델 구성과 실행 환경

Bolt는 Nemotron 3.5 Super VL의 120B 전체 파라미터, 12B 활성 파라미터 구성을 74B 전체 파라미터, 9B 활성 파라미터로 압축했습니다. 24GB 메모리 예산에 맞췄으며 텍스트와 비전을 지원합니다. NVIDIA는 RTX Spark에서 초당 84토큰을 기록했다고 밝혔습니다.

체크포인트와 GGUF 파일, speculative decoding용 drafter를 Hugging Face에서 제공합니다. 커뮤니티 댓글은 2비트 양자화와 speculative decoding을 속도 및 메모리 절감 방식으로 언급하고, NVIDIA가 공개한 유사 메모리 모델 비교에서 PinchBench 1위, WebArena와 BrowseComp 2위를 기록했다고 전합니다. 이 수치와 설명은 댓글에 실린 주장입니다.

Product Hunt 반응

@zerotox — 대형 AI 모델은 인상적이지만 속도나 성능을 크게 포기하지 않고 로컬에서 실행하기는 여전히 어렵습니다. NVIDIA는 Nemotron 3.5 Bolt 74B-A9B 24GB로 이 문제에 도전합니다. 유능한 AI 에이전트를 로컬에서 돌리려면 보통 모델 지능, 속도, 메모리 사이에서 절충해야 합니다. 큰 모델은 다른 애플리케이션과 함께 메모리에 올리기 어렵고 작은 모델은 복잡한 작업에 약할 수 있습니다. Nemotron 3.5 Bolt는 24GB 메모리에 맞춰 NVIDIA RTX와 DGX Spark에서 일상적인 에이전트 작업을 로컬로 실행하도록 설계한 오픈 웨이트 비전 언어 모델입니다. 작은 모델을 처음부터 학습하는 대신 더 큰 모델을 압축하고 공격적인 2비트 양자화를 적용해 제한된 메모리에서도 기능을 더 많이 보존합니다. speculative decoding도 사용해 생성을 빠르게 합니다. 제공 항목은 74B 파라미터 모델, 9B 활성 파라미터, 로컬 AI 작업용 24GB 메모리 사용량, NVIDIA가 RTX Spark에서 보고한 초당 약 84토큰, 웹 탐색과 도구 사용 및 터미널 작업 같은 에이전트 작업 지원, 추가 맞춤화를 위한 버전을 포함한 오픈 웨이트 체크포인트입니다. NVIDIA는 비슷한 메모리 용량의 모델 가운데 PinchBench 1위, WebArena와 BrowseComp 2위라고 보고합니다. 클라우드에 모든 작업을 보내지 않고 로컬 AI 에이전트를 만들거나 비공개 워크플로를 실험하고 조사 자동화, 코딩 및 브라우징 에이전트를 실행하려는 개발자를 위한 모델입니다. NVIDIA 공식 발표를 읽고 Hugging Face에서 모델을 받거나 기술 보고서를 확인해 보세요.

원문: Product Hunt / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗