Sage-A1.5: 장기 과학 과제를 위한 35B 에이전트 모델

AI 요약

Sage-A1.5는 Qwen3.6과 Shanghai AI Laboratory의 Agents-A1을 바탕으로 만든 35B Mixture-of-Experts 모델입니다. Hugging Face Transformers 형식 가중치와 설정 파일을 공개했으며 Transformers, vLLM, SGLang에서 사용할 수 있습니다. 모델 카드는 장기간 이어지는 과학 문제 해결을 목표로 작업 조율, 검증, 개방형 과학 탐색을 주요 기능으로 제시합니다.

에이전트 실행과 검증

Agentic Orchestration Mode는 서로 독립된 문맥과 도구를 가진 하위 에이전트에 하위 과제를 병렬로 맡깁니다. 기본 설정에서는 이 모드가 꺼져 있으며, 호스트가 spawn_subagent 도구를 등록해야 작동합니다. 각 하위 에이전트는 대화 기록을 볼 수 없으므로 호출할 때 작업, 배경 정보, 기대 출력 형식을 모두 전달해야 합니다. 도구 권한은 기본적으로 주 에이전트와 같지만 별도 목록으로 제한할 수 있습니다. 여러 조사의 결과를 구조화된 형식으로 받아 주 에이전트가 종합하는 방식입니다.

Verification Mode도 기본값은 꺼져 있습니다. 요청에 chat_template_kwargs의 verification 값을 true로 설정하면 모델이 추론 도중 진행 상황과 근거를 검토하고, 막힌 접근을 바꿉니다. 외부 평가자 없이 모델 내부에서 수행하며, 검토 내용은 reasoning_content에 출력됩니다. 이 기능을 켜려면 비어 있지 않은 system 메시지가 필요하고, 도구 사용 여부와는 별개로 작동합니다.

벤치마크 결과

모델 카드는 장기 검색, 엔지니어링, 지시 따르기, 과학 연구, 일반 에이전트 작업, 과학 에이전트 작업 등 여섯 범주에서 평가했다고 설명합니다. 보고된 점수 가운데 GAIA는 95.1, BrowseComp는 조율 기능 없이 81.7, 기능을 켜면 82.8입니다. SWE-bench Pro는 61.2, MLE-Lite는 65.2, SciCode는 44.3입니다. 과학 연구 항목에서는 FrontierScience-Olympiad 81.0, FrontierScience-Research 48.3을 기록했습니다. 기준 모델 Agents-A1과 비교하면 SWE-bench Pro는 17.6점, PinchBench는 13.1점, MLE-Lite는 21.3점 높다고 보고합니다.

다만 모든 비교 항목에서 대규모 모델을 앞선다는 뜻은 아닙니다. 표에서 GAIA는 Agents-A1이 96.0으로 더 높고, SWE-bench Pro와 MLE-Lite는 GPT-5.6-sol 등이 Sage-A1.5보다 높은 점수를 냈습니다. 저자들은 여러 항목에서 전체 최고 점수 또는 비슷한 규모 모델 가운데 최고 점수를 주장하지만, 표의 순위는 벤치마크마다 다릅니다. 평가 설명에 따르면 SWE-bench 계열은 mini-SWE-agent, 온도 1.0, top-p 0.95, 200K 토큰 문맥, 자동 문맥 압축을 사용했고 인터넷 연결 없이 실행했습니다. 벤치마크 수치는 기존 기술 보고서에서 가져온 값과 같은 평가 프로토콜로 직접 평가한 값이 함께 포함됩니다.

배포와 재현

모델은 기본 256K 토큰 문맥을 지원합니다. SGLang과 vLLM 실행 예제는 Qwen3 추론 파서와 qwen3_coder 도구 호출 파서를 설정하고, API 서버를 localhost:8000/v1에 엽니다. YaRN을 적용하면 512K 문맥으로 늘리는 설정도 안내합니다. 선택형 Multi-Token Prediction 실행 예제도 각각 제공하며, vLLM에서는 MTP와 Triton MoE 백엔드를 지정합니다. 저장소에는 도구 사용과 다단계 추론을 평가하는 코드도 포함되어 있어, 사용자가 같은 프로토콜로 모델을 비교하거나 새로운 에이전트 평가를 추가할 수 있습니다.

원문: Hugging Face / 번역·요약: Trawling