NeoHorse-1-4B — 라우팅 하니스 기반 agentic post-training으로 recursive self-improvement를 향한 4B 프로토타입

본문

TokenRhythm이 Hugging Face를 통해 공개한 NeoHorse-1-4B는 약 4B 파라미터의 causal language model로, 'recursive self-improvement(RSI)'로 향하는 경로 위의 초기 프로토타입을 표방합니다. Qwen3.5-4B에서 파생되어 텍스트 기반 agent harness, tool use, coding, instruction following을 목표로 post-training되었습니다. 이번 릴리스는 언어 모델 가중치만 포함하며 text-only inference용으로 재패키징되어 vision 가중치는 들어 있지 않습니다. 재패키징 과정에서 configuration과 tensor key 이름은 변경되었지만 fine-tuning된 tensor 값 자체는 그대로라고 모델 카드는 명시합니다.

RSI를 향한 라우팅 하니스

이 프로젝트의 핵심 구조는 routing harness입니다. 하니스는 heterogeneous model pool에 작업을 배정하고, tool interaction과 그 결과를 기록하며, capability demand를 추정합니다. 이 capability-level 피드백은 다음 training mixture를 구성하는 데 사용되고, 업데이트된 모델은 다시 하니스로 되돌아갑니다. 이로써 evaluation–selection–update로 이어지는 프로토타입 루프가 닫히며, 이 루프를 연속된 iteration으로 확장하는 것이 RSI로 향하는 다음 단계라고 설명합니다.

Agentic post-training과 데이터 품질

연계된 연구는 routing-guided curriculum SFT와 routing-guided on-policy distillation이라는 두 축의 agentic post-training 프레임워크를 다룹니다. 실행 궤적(execution trajectory)을 training signal로 전환하면서 각 response 주변의 execution context와 harness context를 보존하는 것이 특징입니다. 데이터 품질 파이프라인으로는 exact 및 near-duplicate 제거, evaluation decontamination, structural validation, 6차원 semantic evaluation, subscene 수준의 Scene/Goal/Outcome 라벨링이 적용되었다고 밝힙니다.

벤치마크 결과

4B 트랙 비교에서 NeoHorse-1-4B는 10개 벤치마크 macro average 64.87을 기록해 Qwen3.5-4B의 58.94 대비 +5.93을 달성했습니다. 비교 대상인 Gemma-4-E4B-it(42.95), Nanbeige-4.2-3B(62.31), Agents-A1-4B(61.46), Spark-X2.5-4B(62.22)보다 평균이 높습니다. Agentic 항목에서는 QwenClawBench 44.68(+6.21), WorkBuddy Bench 34.41(+9.79), PinchBench 77.33(+6.14), tau2-Bench 88.46(+4.17)으로 비교군 최고치를 기록했고, VitaBench 32.00(+10.50)과 BFCL v4 61.79(+0.77)는 기반 모델보다 개선됐지만 각각 Agents-A1-4B와 Nanbeige-4.2-3B에 뒤졌습니다. Coding에서는 HumanEval 96.95(+9.75), LiveCodeBench v6 59.43(+5.72)를 기록했으나 두 항목 모두 Nanbeige-4.2-3B(98.78, 72.50)가 더 높았습니다. Instruction following에서는 IFBench 65.33(+5.00), IFEval 88.35(+1.29)로, 두 항목에서 Spark-X2.5-4B(73.33, 91.13)가 최고치를 차지했습니다. 평가는 SGLang v0.5.17, temperature=1.0, top_p=0.95, top_k=20, presence_penalty=1.5, thinking mode 활성화 조건으로 수행됐으며 QwenClawBench, WorkBuddy Bench, tau2-Bench는 3회 실행, PinchBench와 VitaBench는 1회 실행 결과입니다.

사양과 배포

모델은 네이티브 262,144 토큰 context를 지원하며 최대 1,010,000 토큰까지 확장 가능하고, Safetensors/BF16 형식으로 배포됩니다. 배포는 SGLang v0.5.17 또는 vLLM으로 OpenAI-compatible 서버를 띄우는 방식이 안내되며, --reasoning-parser qwen3와 --tool-call-parser qwen3_coder 옵션을 사용합니다. 실제 context 용량은 GPU 메모리와 serving 설정에 따라 달라진다는 주의가 붙어 있습니다.

라이선스와 인용

라이선스는 Apache License 2.0이며, upstream인 Qwen/Qwen3.5-4B의 Copyright 2026 Alibaba Cloud 고지가 라이선스 파일에 유지됩니다. TokenRhythm은 fine-tuning과 text-only inference용 재패키징을 통해 모델을 수정했고, 수정 고지는 모델 카드와 configuration, weight index, Safetensors metadata에 포함됩니다. 기술 보고서는 arXiv preprint(2609.08183)로 인용 형식이 제공되며, 지난달 다운로드 수는 16,163회입니다.

원문: Hugging Face / 번역·요약: Trawling