Nanbeige4.3-33B, 에이전트 작업용 33B 교사 모델

Nanbeige Team이 코딩과 업무 자동화용 33B 모델 Nanbeige4.3-33B를 공개하고, 자체 평가에서 여러 에이전트 벤치마크 상위권 성적을 제시했습니다. 다만 점수는 모델 제작팀의 평가이며, Reddit에서는 성능 검증과 큰 KV 캐시 비용을 두고 의견이 갈렸습니다.

주제: AI 오픈소스 개발 도구

에디터 노트

이 모델의 강점은 제작팀 표에서 코딩과 업무 에이전트 여러 항목이 높게 나온 점이며, 모든 시험에서 앞선 것은 아닙니다. SWE-Bench Pro와 GDPval에서는 Qwen3.8-27B가 더 높고 GPQA Diamond에서는 Gemma4-31B가 앞섭니다. 평가 도구와 채점 조건도 항목별로 달라 점수만으로 실제 도구 사용 성능을 단정하기 어렵습니다. 댓글에는 제3자 평가를 기다리겠다는 의견과 다중 턴 도구 호출이 좋지 않았다는 사용기가 함께 있습니다. 반면 한 사용자는 5090에서 컨텍스트가 늘수록 생성 속도가 떨어졌다고 했고, 다른 사용자는 4비트와 64K 컨텍스트에서 만족했다고 전했습니다. 이 경험들은 특정 설정의 사례이며 일반적인 성능 측정으로 볼 수 없습니다. 모델을 소형 모델 증류용 교사로 설명한 목적과 대형 KV 캐시 지적은 맞닿아 있지만, 실제 메모리 요구량과 품질은 양자화 및 실행 설정에 따라 달라집니다.

AI 요약

Nanbeige Team은 소형 에이전트 모델을 만들기 위한 교사 모델로 Nanbeige4.3-33B를 공개했습니다. 이 모델의 에이전트 능력을 활용해 Nanbeige4.3-3B 같은 소형 모델을 증류하겠다는 계획입니다. 모델은 약 30B 파라미터급 공개 모델 가운데 복잡한 코딩과 업무 자동화에 강하다고 제작팀은 설명합니다.

벤치마크 결과

제작팀은 각 모델의 추론 강도를 최고로 설정하고 같은 추론 하이퍼파라미터와 평가 도구를 사용했다고 밝혔습니다. Nanbeige4.3-33B는 Terminal-Bench 2.1에서 80.9점으로 Qwen3.8-27B의 73.0점을 앞섰고, DeepSWE에서 65.5점으로 Qwen의 42.5점을 기록했습니다. SWE-Bench Pro에서는 Qwen이 61.7점, Nanbeige가 60.3점으로 앞섰습니다. 업무 에이전트 평가인 JobBench에서는 44.8점으로 Qwen의 34.5점보다 높았지만, GDPval에서는 Qwen이 86.4점, Nanbeige가 84.8점입니다. GPQA Diamond에서는 Gemma4-31B가 91.3점으로 Nanbeige의 89.5점보다 높았습니다. 따라서 공개한 표에서 Nanbeige가 모든 항목을 앞서지는 않습니다.

평가 조건도 벤치마크마다 다릅니다. Terminal-Bench 2.1은 Terminus 2로 평가했고, Terminal-Bench 4와 DeepSWE에는 mini-swe-agent v2.4.6을 썼습니다. NL2Repo는 Claude Code로 평가했습니다. JobBench는 검색 도구를 갖춘 Claude Code 하네스를 사용했고, 일부 항목에는 수정된 채점 기준이나 작업별 평가 기준이 적용됐습니다.

추론 및 실행 설정

모델 카드는 최대 524,288토큰의 컨텍스트 길이를 제시합니다. 채팅 템플릿에서 enable_thinking은 기본 활성화이며, 이전 대화의 추론을 유지하는 preserve_thinking은 일반 질의응답에서 끄고 도구 사용이나 코드 에이전트에서는 켜도록 권합니다. 도구 호출에는 XML 형식을 권장하며 JSON도 지원합니다. 에이전트 작업 설정은 temperature 1.0, top_p 0.95, 최대 새 토큰 65,536개이고, 추론과 채팅은 temperature 0.6, top_p 0.95, 최대 262,144개입니다. Transformers, SGLang, vLLM 실행 예제를 제공하며, SGLang과 vLLM 예제는 텐서 병렬 크기 4를 지정합니다.

Reddit 반응

@Easy_Refrigerator280 — 벤치마크 점수가 놀랍습니다. 오늘 간단히 테스트하고 실제 작업에서도 성능이 이어지는지 확인하겠습니다.
@Eyelbee — 이전에 특정 벤치마크에 과도하게 최적화된 소형 모델이 있었습니다. 점수가 특히 인상적이지만 제3자 데이터가 나올 때까지 신중하게 보겠습니다.
@YanderMan — 도구 호출 성능은 좋지 않았고 다중 턴에서는 거의 쓸 수 없었습니다.
@Mysterious_Finish543 — 이 모델은 희소 어텐션이나 하이브리드 어텐션 없이 GQA만 사용하며, Nanbeige4.2에서 쓴 recurrent depth도 빠졌습니다.
@coder543 — 이 모델은 내부적으로 소형 모델을 증류할 교사 모델로 쓰려는 목적입니다. 공개해 준 점은 반갑지만 가정용으로 최적화된 모델은 아닙니다.
@rerri — 5090에서 GGUF Q4 모델을 시험했는데 컨텍스트가 약 35K에 이르자 생성 속도가 초당 65토큰에서 40토큰 아래로 떨어졌습니다.
@DeProgrammer99 — 계산기 기준으로 토큰당 KV 캐시는 208KB입니다. KV를 Q4로 양자화해도 토큰당 약 52KB라 200K 컨텍스트에서 10GB를 넘습니다.
@hirak99 — 4비트로 실행했고 컨텍스트 64K에서는 모델이 간결하게 답했습니다. 결과가 마음에 듭니다.

원문: Hugging Face / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗