Spark-X2.5-4B 공개 — 1M 컨텍스트를 지원하는 4B 온디바이스 에이전트 모델

본문

온디바이스급 소형 모델이 에이전트 작업을 감당할 수 있느냐는 오랜 질문에 대해, SparkLLM 팀은 Spark-X2.5-4B와 Spark-X2.5-1.7B라는 두 모델로 답을 내놓았습니다. 대화, 글쓰기, 번역, 추론, 코딩, 도구 사용, 에이전틱 워크플로까지 아우르는 범용 모델을 목표로 하며, 200개 이상의 언어와 최대 1M 토큰의 네이티브 컨텍스트 윈도를 지원한다고 밝혔습니다.

하이브리드 어텐션과 1M 컨텍스트

이 모델의 핵심은 어텐션 구조입니다. 풀 어텐션 레이어 하나에 슬라이딩 윈도 어텐션(SWA) 레이어 세 개를 결합한 하이브리드 설계를 채택했습니다. 팀은 에이전트 작업에서 성능·추론 속도·KV 캐시 사용량의 균형이 오랜 병목이었다고 지적하며, 단일 구조에 의존하는 대신 두 메커니즘의 장점을 섞어 성능과 추론 효율, KV 캐시 크기 사이의 균형을 잡았다고 설명합니다. 이를 통해 긴 컨텍스트 모델에 수반되는 계산 오버헤드를 크게 줄이면서도 1M 토큰까지 네이티브로 지원한다고 합니다.

학습 방식: 20조 토큰 프리트레이닝과 MOPD

프리트레이닝에는 웹 페이지, 도서, 학술 출판물, 코드, 백과사전 자료를 아우르는 약 20조 토큰이 사용됐습니다. 수학·논리·코드 등 고가치 도메인 간 데이터 믹스 균형을 잡기 위한 대규모 실험이 수행됐고, 수천억 토큰 규모의 별도 롱컨텍스트 학습 단계를 거쳐 시퀀스 길이를 1M까지 확장했습니다. 포스트트레이닝은 정제된 코퍼스로 SFT를 수행한 뒤, 언어 이해·추론·프로그래밍·도구 기반 에이전트 행동·지시 따르기 등 여러 능력 도메인에 걸쳐 대규모 강화학습을 적용했습니다. 이렇게 만들어진 도메인별 전문 teacher policy들을 MOPD 기법으로 단일 배포 모델에 통합했으며, 전체 학습은 Huawei Ascend 클러스터에서 진행됐습니다.

벤치마크 결과

공개된 표에서 Spark-X2.5-4B는 동급 또는 더 큰 비교군(Qwen3.5-9B/4B/2B, Gemma4-12B/E4B/E2B)과 견줘 여러 에이전트·코딩 지표에서 강한 모습을 보입니다. τ³-bench 30.4(비교군 최고 13.3), BrowseComp 40.9(비교군 최고 14.3), MCP-Atlas 54.6, SWE-Bench Pro 44.4, SWE-Bench Multilingual 53.3 등에서 비교 모델들을 앞섰습니다. 수학에서는 AIME 2026 90.7, IMO-AnswerBench 74.2, HMMT Feb 2026 81.2로 역시 동급 최고 수준이며, 다만 SWE-Bench Verified(41.6 대비 Qwen3.5-9B 53.1), GPQA(67.4 대비 77.2), AA-LCR 등 일부 지표에서는 더 큰 모델에 뒤집니다. 모든 평가는 thinking 모드에서 수행됐으며 권장 샘플링 파라미터는 temperature=1.0, top_p=0.95, top_k=-1입니다. 일부 비교 수치는 각 모델 카드·논문에 보고된 값임을 표에 별표로 명시하고 있어, 동일 조건 재측정 결과가 아닐 수 있다는 점은 감안할 필요가 있습니다.

배포와 생태계

배포 폭도 넓습니다. vLLM, SGLang, llama.cpp(b10828 이상), MLX와 호환되고 Ollama(v0.34.1 이상), LM Studio, Unsloth Studio로 바로 실행할 수 있으며, NVIDIA GPU 외에 Huawei Ascend, Hygon, HOUMO.AI 등의 하드웨어를 지원합니다. 모델 카드에는 NVIDIA용 SGLang·vLLM Docker 명령과 Ascend NPU용 이미지·설정, GGUF 없이 HF 체크포인트를 직접 돌리는 Spark-MLX-LLM 사용법까지 상세히 제공됩니다. 파인튜닝은 LLaMA-Factory를 권장하며, Codex·Claude Code·OpenClaw·Hermes 같은 에이전트 하니스와의 통합도 강조됩니다. 라이선스는 Apache 2.0이고, 지난달 다운로드는 약 2.7만 회를 기록했습니다.

원문: Hugging Face / 번역·요약: Trawling