NVIDIA, 로컬 에이전트용 Nemotron 3.5 Bolt 74B 공개 예고

NVIDIA가 RTX Spark 출시와 함께 로컬 AI 에이전트 기능과 개발 도구를 확장하고, 74B 파라미터 중 9B를 활성화하는 Nemotron 3.5 Bolt 74B를 10월 15일 공개한다고 밝혔습니다. 모델은 2비트 양자화와 양자화 인식 학습(QAT)을 적용해 24GB에 담으며, 실제 품질과 속도는 출시 후 검증이 필요합니다.

주제: AI 오픈소스 개발 도구

에디터 노트

이 모델의 관건은 2비트 QAT가 24GB라는 용량 절감과 실제 사용 품질을 함께 지키는지입니다. NVIDIA는 학습 데이터와 가중치, 레시피를 공개하고 다양한 실행 도구를 지원한다고 밝혔지만, 발표에는 벤치마크가 없습니다. 따라서 빠르고 똑똑하다는 설명은 아직 목표와 주장으로 읽어야 합니다. Reddit에서는 낮은 비트 양자화가 소비자용 기기에서 큰 모델을 돌릴 기회라는 기대와 Q2 모델의 품질을 우려하는 반응이 맞섭니다. QAT가 일반 Q2보다 나을 수 있다는 의견도 있지만, 출시 전에는 품질을 확인할 근거가 부족합니다. 모델을 미세 조정용 바탕으로 보는 관점과 완성형 모델을 원하는 요구도 갈립니다. NVIDIA가 공개성과 도구 지원을 제공하더라도 그것만으로 일반 사용자의 완성형 모델 수요까지 충족하는지는 별도 쟁점입니다.

AI 요약

NVIDIA는 RTX Spark 노트북 출시를 앞두고 로컬 AI 에이전트, 개발 도구, 창작 및 게임 기능 업데이트를 발표했습니다. 관련 발표의 중심에는 로컬 에이전트를 겨냥한 Nemotron 3.5 Bolt 74B-A9B가 있습니다. 총 74B 파라미터 중 토큰마다 9B를 활성화하는 Mixture of Experts(MoE) 모델이며, 2비트 양자화와 양자화 인식 학습(Quantization-Aware Training, QAT)을 적용해 24GB에 담습니다. NVIDIA는 비슷한 메모리 사용량의 인기 MoE 모델보다 높은 지능을 내고, 대형 dense 모델보다 빠르게 실행하는 균형을 목표로 한다고 설명합니다.

Nemotron 3.5 Bolt와 실행 환경

모델은 10월 15일 공개 예정이며, 출시 시점에 llama.cpp, vLLM, Ollama, Unsloth, LM Studio에서 실행할 수 있다고 NVIDIA는 밝혔습니다. Hermes와 OpenClaw 같은 에이전트에서도 바로 사용할 수 있도록 제공할 계획입니다. 학습 데이터와 가중치, 학습 레시피를 공개해 개발자가 모델을 미세 조정하고 에이전트를 맞춤 구성할 수 있다고 설명합니다. 다만 발표 자료에는 벤치마크 결과가 제시되지 않았습니다.

RTX Spark의 로컬 AI 업데이트

RTX Spark에서는 GitHub Copilot, Hermes, OpenClaw, Perplexity, Pi, WorkBuddy가 로컬 모델 설정을 간소화합니다. 앱이 기기에 맞는 모델과 설정을 추천하고, NVIDIA OpenShell과 Microsoft Execution Containers(MXC)를 활용한 보안 기능도 추가합니다. OpenShell은 자격 증명 보호와 보안 모니터링을 제공하고, MXC는 운영체제 수준의 격리 기능을 맡습니다. NVIDIA의 오픈소스 라우팅 라이브러리 Switchyard는 로컬 모델과 클라우드 모델 사이에서 요청을 배분해 클라우드 사용을 줄이는 기능을 지원합니다.

NVIDIA PAIR는 베타를 종료하고 llama.cpp 지원, Hugging Face 직접 다운로드, 추론 설정 조정, RTX Spark 지원을 추가합니다. PAIR는 Windows, Linux, macOS에서 실행하며 로컬 네트워크의 호환 기기를 찾아 모델과 추론 작업을 나눕니다. 개발 환경으로는 PyTorch, Python, CUDA와 CUDA 라이브러리를 제공하고, Windows on Arm용 PyTorch-CUDA 빌드와 Python 3.15, Conda 설치 프로그램도 발표했습니다. NVIDIA는 상위 15,000개 Python wheel 가운데 97%가 준비됐다고 밝혔습니다.

창작 앱과 개발 도구

Adobe는 Photoshop, Premiere, Substance 3D를 RTX Spark에 맞게 최적화하며 일부 작업에서 최대 2배 성능 향상을 예고했습니다. Photoshop은 GPU 합성과 제거 도구를, Premiere는 재생, 렌더링, 색 보정과 음성 및 객체 마스킹 기능을 다룹니다. Photoshop과 Premiere의 일부 AI 기능은 베타에서 제공하며 나머지 업데이트는 단계적으로 출시합니다. NVIDIA Broadcast 2.3에는 오프라인 파일 처리와 에이전트가 효과를 조정하는 MCP 서버가 추가됩니다. ComfyUI에는 RTX Video Frame Generation과 HDR 노드가 들어가며, Blender 5.3에는 11월 DLSS Ray Reconstruction 지원을 예고했습니다.

llama.cpp는 에이전트가 다음 행동을 빠르게 고르는 decision model을 지원하고, 명령줄 없이 모델을 내려받아 실행하는 Windows 앱도 공개합니다. NVIDIA는 decision model이 기존 에이전트의 긴 추론 과정보다 최대 200배 빠르게 다음 행동을 선택한다고 설명합니다. 게임 관련 발표로는 DLSS 5 업데이트, RTX Remix 개선과 10월 23일 공개 예정인 Nemotron 3.5 Bolt E4B 4GB가 포함됐습니다.

Reddit 반응

@u/beneath_steel_sky — llama.cpp 지원 코드입니다. (GitHub PR 링크)
- @u/jacek2023 — 출시 당일 지원이 들어올 예정입니다.
- @u/Southern-Chain-6485 — 제가 잘못 안 게 아니라면 NVIDIA가 전에 공개한 75B Nemotron은 아직 지원되지 않았습니다.
@u/Real_Ebb_7417 — 드디어 80B MoE 모델이네요. 오래 기다렸습니다.
- @u/tossit97531 — 게다가 A9B입니다!
- @u/thawizard — 빠른 건 즐겁지만 답변 품질이 좋다는 뜻은 아닙니다. Qwen 3.8-Flash-Next가 이미 충분히 좋은데 Nemotron이 곧바로 따라잡을 거라고 기대하지는 마세요.
@u/Borilentz — 2비트 QAT라니 흥미롭네요.
- @u/ComplexType568 — 대형 AI 연구소가 저비트 양자화를 채택하는 점이 기대됩니다. 이 모델이 잘 안 되더라도 인기를 얻으면 다른 연구소도 이 흐름을 따를 수 있습니다.
- @u/GasSmooth7439 — 2비트 양자화가 제대로 작동한다면 단일 소비자용 GPU나 RTX Spark급 기기에서 큰 모델의 전문가 용량을 쓸 수 있는 좋은 지점이 될 수 있습니다.
@u/Embarrassed_Adagio28 — NVIDIA가 쓸 만한 모델을 하나라도 내놓은 적이 있는지 모르겠네요.
- @u/JoeyDee86 — NVIDIA가 모델의 용도를 설명한 내용을 거의 아무도 읽지 않습니다. 모델은 바탕으로 쓰도록 만든 것이고 LoRA가 목적입니다.
- @u/beling86 — 일반 사용자에게 미세 조정을 기대하기보다 완성된 모델도 함께 내놓아야 합니다.
- @u/21524518 — 저는 NVIDIA의 Parakeet 모델로 일본어 라이브 방송에 실시간 자막을 만들며 꽤 만족합니다.
@u/atape_1 — 일반 양자화 버전도 공개하나요, 아니면 Q2만 제공하나요?
- @u/Cereal_Grapeist — Q2 QAT는 이례적이지만 Q8 성능에 가까우면 중급 하드웨어에 좋은 선택이 될 수 있습니다.
- @u/n8mo — Q2 기본 모델이라 관심이 식었습니다. 써본 Q2 모델 중 쓸 만한 게 없었습니다.
- @u/Savantskie1 — QAT 모델이라면 일반 Q2보다 나을 수 있습니다.
@u/james_pic — E4B가 Gemma 4보다 나은지 궁금합니다. 74B A9B는 Qwen 3.8 27B로는 번거로운 작업에 쓸 만할 수도 있습니다.
- @u/MerePotato — 양자화 인식 학습이 좋은 결과를 내면 27B 모델을 따라잡거나 넘을 수도 있습니다.

원문: NVIDIA Blog / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗