Spark-X2.6-4B: 온디바이스 배포용 4B 언어 모델

SparkLLM이 Spark-X2.5-4B와 같은 아키텍처를 유지하면서 후처리를 개선한 Spark-X2.6-4B를 공개했습니다. 코딩, 에이전트 작업, 긴 문맥 처리 성능을 높였다고 설명하며, 추론 수준을 none, low, high로 설정하는 기능과 여러 로컬 실행 경로를 제공합니다.

주제: AI 언어 모델 개발 도구

에디터 노트

성능 개선 주장은 구체적인 벤치마크 점수와 평가 조건이 함께 있어야 비교할 수 있습니다. 페이지는 여러 작업에서 동급 모델을 앞서고 일부 9B 모델과 맞먹는다고 밝히지만, 수치와 평가 설정은 제시하지 않아 그 폭을 확인하기 어렵습니다. 반면 thinking budget 단계와 Transformers, SGLang, vLLM 등 실행 경로는 실제 통합을 시작할 때 참고할 정보를 제공합니다. 다만 서버 예제마다 모델 이름을 spark2.6 대신 spark25로 설정한 부분이 있어 배포 명령을 그대로 복사하기 전에 이름이 의도된 값인지 확인할 필요가 있습니다.

AI 요약

Spark-X2.6-4B는 온디바이스 배포를 겨냥한 40억 파라미터 언어 모델입니다. SparkLLM은 이전 버전인 Spark-X2.5-4B와 아키텍처를 같게 유지하고 후처리를 개선해 성능을 높였다고 설명합니다. 코딩, 복잡한 도구 사용과 다단계 계획을 포함한 에이전트 작업, 긴 문맥, 다국어, 추론 성능을 개선했다고 밝혔습니다.

추론 설정과 성능 주장

모델은 thinking budget을 none, low, high 세 단계로 설정합니다. 애플리케이션은 이 설정으로 추론 품질과 지연 시간, 비용 사이의 균형을 조정할 수 있습니다. SparkLLM은 에이전트, 코드, 수학, 일반 지식 등 여러 작업에서 비슷한 크기의 오픈소스 모델 가운데 최고 성능을 냈으며, 일부 벤치마크에서는 약 90억 파라미터 모델과 같거나 더 나은 결과를 냈다고 주장합니다. 추론 효율도 Qwen3.5-4B와 Gemma-E4B에 비해 동등하거나 낫다고 설명합니다. 제공된 페이지에는 이 비교의 구체적인 점수나 벤치마크별 결과가 제시되지 않았습니다.

실행 및 배포

Hugging Face Transformers로 불러올 때는 transformers==4.57.1 설치를 안내하며, 예제에서는 trust_remote_code=True를 사용합니다. SGLang과 vLLM으로 OpenAI 호환 API 서버를 띄우는 방법도 제공합니다. 서버 예제는 최대 문맥 길이를 1,048,576 토큰으로 설정하지만, 충분한 장치 메모리가 필요하며 메모리가 부족하면 값을 낮추라고 안내합니다. Apple silicon, Linux CPU와 NVIDIA CUDA에서는 Spark-MLX-LLM을 이용할 수 있고, llama.cpp, Ollama, LM Studio, Unsloth Studio 실행 경로도 안내합니다. 모델 계열 라이선스는 Apache 2.0입니다.

원문: Hugging Face / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗