MiniCPM5-2B 공개 — 온디바이스용 2B 모델로 2B급 오픈소스 SOTA 달성

본문

OpenBMB가 MiniCPM5-1B에 이어 MiniCPM5 시리즈의 두 번째 모델인 MiniCPM5-2B를 Hugging Face에 공개했습니다. 같은 학습 레시피를 스케일업한 dense 2B Transformer로, 온디바이스·로컬 배포와 리소스 제약 환경을 목표로 하며 2B급 오픈소스 SOTA를 표방합니다. 라이선스는 Apache-2.0입니다.

모델 사양과 벤치마크

아키텍처는 표준 LlamaForCausalLM으로, 커스텀 커널이나 모델 코드 포크 없이 주요 추론 엔진에서 바로 로드할 수 있습니다. 파라미터 수는 2,516,756,480개(비임베딩 1,981,982,720개), 레이어 42개, GQA 기준 Q 헤드 16개·KV 헤드 2개이며, 컨텍스트 길이는 131,072 토큰을 네이티브로 지원합니다.

비교 대상은 같은 크기급인 LFM2.5-2.6B, Qwen3.5-2B, Gemma-4-E2B-it과 참고용 상위 모델인 Qwen3.5-4B, granite-4.2-3B, Nemotron-3-Nano-4B, Gemma-4-E4B-it, LFM2.5-8B-A1B입니다. 이 비교 세트에서 MiniCPM5-2B는 평균 53.9점으로 2B급 최고(다음은 33.2점)이자, 포함된 4B급 모델의 최고점인 51.1점도 넘었습니다. 강점이 두드러진 영역은 코드 추론(LiveCodeBench v6 69.1, OJBench 32.5), 수학 추론(AIME 2025 86.5, MATH-500 94.6), 롱컨텍스트(NoLiMa 68.1, AA-LCR 59.0), 툴 사용(τ²-Bench Telecom 97.1, BFCL v4 66.6), 에이전트 작업(SWE-bench Verified 46.4, BrowseComp-ZH 43.5)입니다. † 표시가 붙은 점수는 Artificial Analysis 공식 수치이며 나머지는 내부 재현 결과라고 명시되어 있습니다.

공개 데이터와 3단계 학습 파이프라인

모델과 함께 학습 데이터도 UltraData 패밀리로 공개됩니다. 고품질 웹 사전학습 데이터 UltraX, L0–L3 계층형 코드 데이터 관리를 적용한 UltraData-Code, 50만 개의 에이전트 학습 샘플 UltraData-SFT-Agent-2609, 수학·코드·일반 지식·롱컨텍스트를 포함한 8만 개 이상의 RL 샘플 UltraData-RL-2609 등입니다.

학습은 base training(stable + decay), mid-training, post-training 3단계로 진행됩니다. post-training은 SFT → RL → OPD 순서로, 먼저 4,000억 토큰 규모의 deep-thinking SFT로 사고와 대화 능력을 확립하고, 수학·코드·에이전트·글쓰기 등 도메인별 RL 전문가 모델을 학습한 뒤 On-Policy Distillation(OPD)으로 하나의 릴리스 모델에 증류합니다. RL에는 JustRL II의 critic 기반 알고리즘을 사용했고, OPD는 RL로 만든 16개 전문가 모델(에이전트 전문가 5개 포함)을 병합하며 각 응답 위치에서 student–teacher 로짓 간 전체 어휘 역방향 KL 발산을 어드밴티지 추정치로 사용합니다. RL + OPD 적용으로 추론·일반 능력이 평균 +10.96점, 에이전트 능력이 +6.96점 향상됐다고 밝혔습니다.

배포 옵션과 실전 팁

용도별로 BF16 최종본, SFT-only, mid-train, base 체크포인트와 GGUF(llama.cpp·Ollama·LM Studio), MLX 4bit(Apple Silicon), GPTQ 4bit, 추론 가속용 DSpark 드래프트 모델, 모바일·IoT용 LiteRT-LM까지 다양한 포맷이 제공됩니다. vLLM(>=0.21)과 SGLang(>=0.5.16) 서빙을 지원하고, 툴 콜링은 XML 스타일 출력을 SGLang의 내장 minicpm5 파서가 OpenAI 호환 tool_calls로 변환하므로 SGLang이 권장됩니다. 권장 샘플링 파라미터는 temperature=1.0, top_p=0.95, min_p=0.0이며, llama.cpp의 기본 min_p=0.05는 반복 출력을 유발할 수 있어 0.0으로 설정하라고 안내합니다. 파인튜닝은 TRL+PEFT, LLaMA-Factory, ms-swift, unsloth 쿡북을 제공하고, FlagOS 스택을 통해 NVIDIA·Ascend·Hygon 등 9종 AI 칩용 멀티칩 버전도 FlagRelease에 배포됐습니다.

원문: Hugging Face / 번역·요약: Trawling