NVIDIA Nemotron 3.5 Bolt E4B 4GB: Gemma 4 기반 소형 언어 모델

NVIDIA가 Gemma-4-E4B-it을 후학습한 4B 유효 파라미터 모델 Nemotron 3.5 Bolt E4B를 공개했습니다. Q4_K_M 양자화와 최대 64K 문맥을 지원하며, 추론·대화 모드 제어와 비동기 도구 호출을 제공합니다. 자체 벤치마크에서는 작업별로 경쟁 모델과 결과가 엇갈립니다.

주제: AI 개발 도구 오픈소스

에디터 노트

벤치마크는 Nemotron의 일괄 우위를 보여주지 않습니다. Q4_K_M 표에서 도구 사용과 역할 수행 관련 일부 항목은 Nemotron이 앞서지만, Qwen3.5 4B는 도구 호출과 긴 문맥 관련 여러 항목에서 더 높은 점수를 냅니다. NVIDIA가 같은 평가 하네스를 썼다고 밝혔어도 점수는 선택한 과제와 실행 조건에 좌우됩니다. Reddit에서는 사용자가 Gemma와 비교한 경험으로 기억 통합과 긴 문맥 회상은 나았지만 사실 추출 누락과 반복 환각을 봤다고 전합니다. 이는 한 사용자의 시험 결과이며 표의 점수와 같은 조건에서 확인한 결과는 아닙니다. 또 하네스와 스킬이 평가에 영향을 준다는 지적은 벤치마크를 해석할 때 유효한 보완입니다. 실제 배포를 검토한다면 64K 문맥, 추론 예산, 비동기 도구 호출 같은 설정을 자기 작업 흐름에서 따로 시험해야 합니다.

AI 요약

NVIDIA는 Gemma-4-E4B-it을 기반으로 후학습한 소형 언어 모델 Nemotron 3.5 Bolt E4B를 공개했습니다. 전체 파라미터는 8B, 유효 파라미터는 4B이며 공개된 4GB 버전은 Q4_K_M 양자화 모델입니다. 최대 입력·출력 문맥은 각각 64K 토큰이고 OpenMDW 1.1 라이선스로 상업적·비상업적 사용을 허용합니다. 모델은 텍스트 입출력을 지원하며, 영어 외에 프랑스어, 독일어, 이탈리아어, 일본어, 스페인어, 중국어 등을 후학습 언어로 제시합니다.

실행과 상호작용 제어

Hugging Face 자료는 llama.cpp 서버 실행 예제를 제공합니다. 모델 파일과 DFlash 초안 모델을 내려받아 실행하면 speculative decoding을 구성할 수 있고, 예제에서는 초안 토큰 최대치를 7로 설정합니다. 채팅 요청의 chat_template_kwargs에서 enable_thinking으로 추론 모드를 켜고 끌 수 있으며, llama-server의 reasoning budget으로 추론 토큰 예산도 지정합니다. conversational_mode를 켜면 음성·대화형 인터페이스에 맞춰 간결한 답변을 내도록 설정할 수 있습니다. vLLM 실행에는 Gemma 4용 tool-call parser와 reasoning parser 설정을 안내합니다.

비동기 도구 호출은 도구 결과가 늦게 도착할 때의 메시지 순서를 제시합니다. 모델이 도구를 호출한 직후 도구 응답에 pending 상태와 작업 ID를 넣고, 도구 처리가 끝나면 결과를 담은 user 메시지를 보내 대화를 이어갑니다. 채팅 템플릿은 assistant의 도구 호출 바로 뒤에 오지 않는 tool 메시지를 허용하지 않으므로, 이 순서를 지켜야 합니다.

벤치마크

NVIDIA가 NeMo Gym 평가 하네스로 측정한 표에는 BF16과 Q4_K_M 각각 4개 모델의 점수가 실렸습니다. Q4_K_M 결과에서 Nemotron은 MultiChallenge 55.60, RoleBench 71.21, Brevity Benchmark 82.84, IHEval 82.40, RelyToolBench 69.29를 기록해 해당 정밀도 그룹 최고 점수를 냈습니다. 반면 Qwen3.5 4B는 BFCL-v3 70.56, ToolSandbox 74.51, Tau2-Bench 61.74, RULER 95.37, LongMemEval 76.60, LongBench v2 58.28 등에서 앞섰습니다. 평가 대부분은 추론 모드로 진행했고 RoleBench, EQ-Bench v3, RULER는 예외입니다. NVIDIA는 자체 측정값이 다른 업체의 결과와 다를 수 있다고 밝혔습니다.

Reddit 반응

@AryanEmbered — 모델을 평가하기가 갈수록 어려워집니다. 모두가 사용 사례를 내고 두 달마다 갱신하는 LocalLLaMA 자체 벤치마크를 만들면 어떨까요? 벤치마크 점수는 아무 의미도 없어 보입니다.
@BIOffense — 정성적 평가를 위한 Model Style not-a-Bench가 있습니다.
@epictunasandwich — 하네스와 스킬도 중요합니다. 제 QFN IQ3_S는 이 벤치마크를 실행할 때 프런트엔드 디자인 스킬과 브라우저로 결과물을 확인했습니다.
@No_Supermarket_3880 — Gemma E4B와 나란히 메모리 추출, 보존, 통합을 시험했습니다. 중복 사실을 합치는 메모리 통합과 긴 문맥 회상은 더 나았지만, 추출 과정에서 핵심 사실을 놓쳤고 여러 번 실행하자 사실을 지어냈습니다. 반복적인 환각 때문에 저는 Gemma를 계속 쓰겠습니다.
@dtfinch — 이상한 파인튜닝입니다. 텍스트 전용과 64K 문맥을 내세우지만 이미지·오디오와 128K 문맥도 기술적으로 지원한다고 합니다. GGUF 파일이 원본보다 1GB 큰 6GB라 4GB 메모리 제약을 고려해 그 기능을 홍보하지 않은 것일 수 있습니다. 다만 더 작은 Qwen3.5 4B Q4_K_M이 표의 벤치마크 8개에서 여전히 앞섭니다.
@txgsync — 이 모델에서 비동기 도구 호출이 특히 좋습니다. 모델이 도구를 부른 뒤 결과를 기다리는 동안 대화를 이어갈 수 있습니다. 저는 1년 넘게 로컬 모델에서 직접 만든 방식으로 비동기 도구 호출을 구현해 왔는데, 이런 접근은 반갑습니다.
@Presstabstart — 이 모델이 Qwen 3.8 27B보다 똑똑할 리 없습니다.

원문: Hugging Face / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗