NeoHorse-1-9B — 라우팅 하네스 기반 에이전트 포스트트레이닝으로 재귀적 자기개선을 향한 첫 프로토타입

본문

TokenRhythm이 Hugging Face에 공개한 NeoHorse-1-9B는 재귀적 자기개선(Recursive Self-Improvement, RSI)을 향한 초기 프로토타입으로 소개된 9B 규모의 인과 언어 모델입니다. Qwen/Qwen3.5-9B를 베이스로 포스트트레이닝했으며, 텍스트 기반 에이전트 하네스, 도구 사용(tool use), 코딩, 명령어 따르기(instruction following)에 초점을 둡니다. 이번 릴리스는 언어 모델 가중치만 포함하며 텍스트 추론용으로 재패키징되어 비전 가중치는 없습니다. 재패키징 과정에서 설정과 텐서 키 이름이 변경되었지만 파인튜닝된 텐서 값 자체는 동일하다고 명시되어 있습니다.

RSI를 향한 라우팅 하네스 구조

모델 카드가 설명하는 RSI 경로의 핵심은 라우팅 하네스입니다. 이 하네스는 작업을 이종(heterogeneous) 모델 풀에 할당하고, 도구 상호작용과 결과를 기록하며, 역량 수요(capability demand)를 추정합니다. 그리고 역량 수준의 피드백을 사용해 다음 학습 데이터 혼합(training mixture)을 구성합니다. 업데이트된 모델은 다시 하네스로 되돌아가며, 이것이 평가-선택-업데이트 루프를 닫는 프로토타입 구조입니다. 이 루프를 연속적인 반복으로 확장하는 것이 RSI를 향한 다음 단계라고 설명합니다.

에이전트 포스트트레이닝 프레임워크

연계된 연구는 라우팅 기반 커리큘럼 SFT(routing-guided curriculum SFT)와 라우팅 기반 온폴리시 증류(on-policy distillation)를 다룹니다. 실행 궤적(execution trajectory)을 학습 신호로 전환하면서 각 응답 주변의 실행 및 하네스 컨텍스트를 보존하는 방식입니다. 데이터 품질 측면에서는 정확·근절 중복 제거, 평가 오염 제거(decontamination), 구조적 검증, 6차원 의미 평가, 그리고 서브씬 수준의 Scene/Goal/Outcome 라벨링을 적용했다고 밝힙니다.

벤치마크 결과

9B 트랙 비교 대상은 Granite-4.2-8B, Qwen3.5-9B, Ornith-1.5-9B, Gemma-4-12B-it, Muse-Glimmer-30B의 다섯 오픈 가중치 베이스라인입니다. 10개 벤치마크 매크로 평균에서 NeoHorse-1-9B는 69.04를 기록해 Qwen3.5-9B의 65.60 대비 +3.44, Muse-Glimmer-30B의 67.86보다도 높은 수치를 보고했습니다. 에이전트 범주에서 PinchBench 82.25(+7.70), VitaBench 42.25(+11.00), tau2-Bench 90.82(+2.78), BFCL v4 67.43(+2.55), QwenClawBench 48.73(+4.69)입니다. 코딩 범주에서는 HumanEval 98.17(+5.49)이나 LiveCodeBench v6는 65.14로 기반 모델과 동일합니다. 명령어 따르기에서는 IFBench 66.33(+0.00), IFEval 89.09로 오히려 -0.37 하락했습니다.

평가 프로토콜은 SGLang v0.5.17, temperature=1.0, top_p=0.95, top_k=20, presence_penalty=1.5 조건에서 thinking 모드를 활성화해 수행됐습니다. QwenClawBench, WorkBuddy Bench, tau2-Bench는 3회 실행, PinchBench와 VitaBench는 1회 실행이며, VitaBench는 DeepSeek-V4-Flash 시뮬레이터와 심사 모델을 사용합니다.

배포와 스펙

로컬 체크포인트 기준 셀프호스팅 예시로 SGLang v0.5.17과 vLLM 두 경로를 제공하며, 둘 다 OpenAI 호환 /v1/chat/completions 엔드포인트를 노출합니다. reasoning-parser로 qwen3, tool-call-parser로 qwen3_coder를 사용합니다. 네이티브 컨텍스트 길이는 262,144토큰이며 최대 1,010,000토큰까지 확장 가능하고, 가중치는 Safetensors/BF16 형식입니다. 실제 컨텍스트 용량은 GPU 메모리와 서빙 설정에 따라 달라진다고 안내합니다.

라이선스는 Apache License 2.0이며, 상위 모델인 Qwen3.5-9B의 저작권 고지(Copyright 2026 Alibaba Cloud)를 유지합니다. 기술 보고서는 arXiv 2609.08183으로 인용됩니다.

원문: Hugging Face / 번역·요약: Trawling