China Telecom, Ascend NPU만으로 학습한 에이전트 특화 MoE 모델 Xing4.0-29B-A4B 공개

본문

China Telecom 산하 인공지능 기술 법인이 개발한 대규모 언어 모델 Xing4.0-29B-A4B가 Hugging Face에 가중치와 설정 파일 형태로 공개되었습니다. Xing 시리즈는 기존 TeleChat 브랜드를 이어받은 라인업으로, 이번 모델은 Transformers, vLLM, SGLang, KTransformers 등 주요 추론 프레임워크와 호환되는 형식으로 배포됩니다. 총 파라미터는 29B이지만 토큰당 활성 파라미터는 4B에 불과한 Mixture-of-Experts 구조이며, 컨텍스트 길이는 기본 256K, 확장 시 512K까지 지원합니다. 개발사는 이 모델이 동급 규모 중 최초로 Ascend NPU 플랫폼과 MindSpore 프레임워크만으로 전체 학습을 완료한 사례이며, 복잡한 엔지니어링 작업에 맞춰 심층 최적화되었다고 설명합니다.

에이전트 지향 아키텍처

모델은 mHC + MLA + MTP 조합의 아키텍처를 기반으로 설계되었습니다. 다단계 계획 수립, 도구 호출, 복잡한 추론 체인 실행을 지원하며, 긴 컨텍스트 환경에서도 작업의 일관성과 실행 안정성을 확보하는 것을 목표로 합니다. 세부 사양을 보면 레이어 수는 40, hidden size는 3584, dense FFN intermediate size는 9216, expert intermediate size는 1024입니다. 어텐션은 MLA 방식을 사용하고, routed expert는 총 64개로 토큰당 4개가 활성화되며 shared expert 1개가 별도로 존재합니다.

Ascend NPU와의 심층 공동 최적화

학습 측면에서 눈에 띄는 부분은 Ascend 플랫폼 특화입니다. 모델은 Ascend 910C 클러스터에 맞춰 MindSpore/MindFormers 기반으로 적응되었고, mHC 기능 적응과 fused operator 개발이 함께 이루어졌습니다. 개발사는 세분화된 MoE 통신 최적화, 선택적 재계산(selective recomputation), DVM 자동 그래프-오퍼레이터 융합, Ascend C 기반 mHC fused operator 등 다층적 공동 최적화를 통해 기본 설정 대비 전체 학습 처리량을 약 96% 향상시켰다고 밝힙니다. NVIDIA GPU 생태계가 아닌 Ascend NPU만으로 이 규모의 모델 학습이 가능함을 보여주는 사례로도 읽힙니다.

벤치마크 결과

공개된 비교표에서 Xing4.0-29B-A4B는 Gemma4-26B-A4B, Qwen3.6-35B-A3B와 나란히 비교됩니다. 주요 수치는 AIME2026 90.00, SWE-bench Verified 75.00, Terminal-Bench 2.1 57.50, SWE-bench Multilingual 66.00, Claw-Eval 76.55, DeepresearchBII 60.80, Tau3-Bench 64.63, IFBench 69.67, AA.LCR 61.00입니다. 특히 SWE-bench Verified에서 75.00은 Gemma4-26B-A4B의 53.00을 크게 앞서며 Qwen3.6-35B-A3B의 76.00과는 근접한 수치입니다. Terminal-Bench 2.1에서는 57.50으로 비교 대상인 30.00과 51.50을 모두 앞섭니다. 다만 AIME2026(92.70), Tau3-Bench(67.20), SWE-bench Multilingual(67.20), IFBench(72.67) 등 일부 항목에서는 비교 모델이 더 높은 점수를 보입니다.

평가 조건과 배포 방법

각 벤치마크의 평가 조건도 상세히 공개되어 있습니다. SWE-bench Verified와 Multilingual은 SWE-agent 하네스에서 temperature 1.0, top_p 0.95, repetition_penalty 1.05, 210K 컨텍스트로 측정했습니다. Terminal-Bench 2.1은 terminus-2 환경에서 temperature 0.8, max_tokens 64K, 24시간 타임아웃으로 3회 평균을 냈고, AIME2026은 max_tokens 131072로 5회 독립 실행 평균입니다. DeepresearchBII는 OpenCode 하네스에서 Exa MCP 서버를 활성화한 상태로 평가했습니다.

실제 사용은 OpenAI 호환 API 형태로 가능하며, 샘플 코드에서는 enable_thinking 옵션으로 사고(thinking) 모드를 켜고 끌 수 있음을 보여줍니다. 권장 샘플링 파라미터는 복잡한 추론·일반 작업에 temperature 1.0, top_p 0.95, repetition_penalty 1.05이고, 코딩·에이전트 작업에는 temperature 0.8로 낮추는 설정이 제시됩니다. 배포는 vLLM, SGLang, KTransformers를 지원하고, 파인튜닝은 LLaMA-Factory와 MindFormers로 가능합니다. 또한 OpenCode, Claude Code, OpenClaw, Hermes 같은 에이전트 프레임워크에 대한 적응과 포맷 정렬이 이루어져 기존 워크플로우에 통합할 수 있다고 설명합니다.

활용 시나리오와 참고 자료

개발사는 도메인 특화 파인튜닝 적합성도 강조합니다. 의도 분류, 표 이해, 계약서 감사, 지식 기반 QA 같은 수직 도메인 작업에서 사내 데이터로 경량 커스터마이징이 가능해 저비용으로 도메인 역량을 구축할 수 있다고 밝힙니다. 관련 기술 문서로는 TeleChat3-MoE 학습 보고서(arXiv:2512.24157)와 TeleChat2, TeleChat2.5, T1 기술 보고서(arXiv:2507.18013)가 인용되어 있으며, 자세한 실행 지침은 별도 GitHub 저장소에서 안내합니다. 공개 한 달 기준 다운로드 수는 61건으로, 아직 커뮤니티 채택은 초기 단계입니다.

원문: Hugging Face / 번역·요약: Trawling