Xing4.0-29B-A4B 공개 — 토큰당 4B 활성화하는 29B 모델

AI 요약

China Telecom Artificial Intelligence Technology가 Xing 시리즈(구 TeleChat)의 Xing4.0-29B-A4B를 공개했습니다. 전체 파라미터는 29B지만 토큰마다 4B를 활성화하는 MoE 모델입니다. 기본 문맥 길이는 256K이며 512K까지 확장할 수 있습니다. 저장소에는 Hugging Face Transformers 형식의 가중치와 설정 파일이 있으며 Transformers, vLLM, SGLang, KTransformers 등과 호환됩니다.

모델 구조와 학습

모델은 40개 레이어, 히든 크기 3584, MLA 어텐션으로 구성됩니다. 라우팅 전문가 64개 가운데 토큰당 4개를 사용하고, 공유 전문가 1개를 둡니다. 에이전트 중심 설계에 mHC, MLA, MTP 구조를 적용해 다단계 계획, 도구 호출, 복잡한 추론 실행을 지원한다고 소개합니다.

개발팀은 이 규모의 모델 가운데 처음으로 Ascend NPU 플랫폼에서 MindSpore만 사용해 학습했다고 설명합니다. Ascend 910C 클러스터에 맞춰 mHC 기능을 적용하고 융합 연산자를 개발했습니다. 세밀한 MoE 통신 최적화, 선택적 재계산, DVM 자동 그래프 연산자 융합, Ascend C 기반 mHC 융합 연산자 등을 적용해 기본 설정 대비 학습 처리량을 약 96% 높였다고 밝혔습니다.

공개된 벤치마크

저장소가 공개한 결과에서 Xing4.0-29B-A4B는 SWE-bench Verified 75점, Terminal-Bench 2.1 57.50점, SWE-bench Multilingual 66점, Claw-Eval 76.55점입니다. 비교 대상인 Gemma4-26B-A4B는 각 항목에서 53점, 30점, 51점, 71.49점이며, Qwen3.6-35B-A3B는 76점, 51.50점, 67.20점, 74.54점입니다. 다른 항목에서는 AIME2026 90점, IFBench 69.67점, Tau3-Bench 64.63점, DeepresearchBII 60.80점, AA.LCR 61점으로 보고했습니다.

평가 설정은 벤치마크마다 다릅니다. SWE-bench Verified와 SWE-bench Multilingual은 SWE-agent로 210K 문맥 창을 사용했습니다. Terminal-Bench 2.1은 최대 64K 토큰, 24시간 제한으로 3회 실행한 평균을 냈습니다. Claw-Eval은 256K 문맥 창에서 3회 평균을 보고했습니다. 따라서 표의 점수는 각 평가 설정과 함께 봐야 합니다.

배포와 활용

추론은 vLLM, SGLang, KTransformers를 지원하고, 미세 조정에는 LLaMA-Factory와 MindFormers를 사용할 수 있습니다. OpenAI 호환 API로도 호출할 수 있으며, 예제 설정은 일반 추론에 temperature 1.0, 코딩·에이전트 작업에 0.8을 권장합니다. OpenCode, Claude Code, OpenClaw, Hermes 같은 에이전트 프레임워크와의 연동도 안내합니다.

개발팀은 의도 분류, 표 이해, 계약 검토, 지식 기반 질의응답 같은 분야에 맞춰 자체 데이터로 미세 조정하는 사용 사례를 제시합니다. 다운로드 수는 최근 한 달 기준 11,013회입니다.

원문: Hugging Face / 번역·요약: Trawling