openbmb/MiniCPM-V-4.7-35B-A3B
MiniCPM-V 4.7 35B-A3B, MoE 멀티모달 모델의 온디바이스 추론 최적화
OpenBMB가 이미지·영상 이해를 지원하는 MoE 모델 MiniCPM-V 4.7 35B-A3B를 공개했습니다. 모델 카드에 따르면 Lookahead Expert Scheduling, 양자화, 추측 디코딩을 조합해 iPhone 17 Pro Max에서 메모리 3GB, 초당 13토큰 이상으로 추론합니다.
- 주제
에디터 노트
온디바이스 MoE에서 가장 설득력 있는 부분은 전문가 선택 자체를 제한하지 않고 적재 시점만 조정한다는 설계입니다. LES가 예측을 실제 라우팅에 강제하지 않으며, 놓친 전문가도 불러온다는 설명은 성능 보존 주장과 기술적으로 맞닿아 있습니다. 양자화와 추측 샘플링을 함께 써 적재량과 디코딩 비용을 줄이는 접근도 제시되어 있습니다. 다만 초당 13토큰 이상, 메모리 3GB라는 수치와 Qwen3.6 대비 우위는 모델 카드의 주장으로 읽어야 합니다. 비교 점수와 측정 조건이 본문에 구체적으로 적히지 않아 다른 기기나 입력에서 같은 성능이 나오는지는 판단하기 어렵습니다. 실제 적용을 검토할 때는 모델 카드의 실행 코드와 자신의 기기에서 속도·메모리 사용량을 확인하는 편이 타당합니다.
AI 요약
MiniCPM-V 4.7은 단일 이미지와 여러 이미지, 영상 이해 기능을 갖춘 멀티모달 모델입니다. 35B-A3B는 MiniCPM-V 계열의 첫 Mixture of Experts(MoE) 모델입니다. 모델 카드의 주된 초점은 전체 전문가 가중치를 기기에 두기 어려운 상황에서, 필요한 전문가를 불러오는 지연을 줄여 온디바이스 추론 속도를 높이는 방법입니다.
전문가 적재 지연을 줄이는 방식
MoE는 토큰마다 선택되는 전문가가 달라집니다. 기기 메모리에 모든 전문가 가중치를 올릴 수 없으면 저장 장치에서 필요한 가중치를 불러와야 하며, 반복 적재가 디코딩을 늦춥니다. 전문가 집합을 미리 제한하면 적재 횟수를 줄일 수 있지만, 모델이 토큰별로 고르는 전문가를 제한해 성능이 떨어질 수 있습니다.
Lookahead Expert Scheduling(LES)은 층 사이의 라우팅을 예측해 다음 층에서 필요할 가능성이 높은 전문가를 미리 불러옵니다. 실제 계산에서는 예측 결과로 전문가 선택을 바꾸지 않습니다. 원래 라우터가 선택한 전문가를 그대로 사용하며, 미리 불러오지 못한 전문가도 필요하면 적재해 계산합니다. LES는 적재 순서와 시점을 조정하는 기법입니다. 여기에 전문가 가중치의 저장 공간과 메모리 트래픽을 줄이는 세밀한 층별 양자화, 초안 모델로 다음 토큰을 미리 제안하는 DSpark 추측 샘플링을 더합니다.
모델 카드에 따르면 세 기법을 결합한 결과 iPhone 17 Pro Max에서 메모리 3GB로 초당 13토큰 이상을 생성합니다. OpenBMB는 성능 저하 없이 매끄럽게 실행되는 첫 오픈소스 MoE 모델이라고 설명합니다. 다만 이 수치는 해당 기기에서의 제작사 측 보고입니다.
시각 입력 처리와 실행 선택지
시각 인코더 안에서 토큰을 일찍 압축하는 intra-ViT 기법을 적용해 뒤쪽 인코더 층의 계산량을 줄입니다. 입력 처리에는 시각 토큰을 더 많이 합치는 16x와 세부 묘사를 더 남기는 4x 모드를 제공합니다. 고해상도 이미지 분할 수, 영상에서 뽑을 프레임 수와 초당 샘플 지점 수도 설정할 수 있습니다.
iOS, Android, HarmonyOS 배포를 지원하며 Rockchip, Houmo, Intel, AMD, Arm 플랫폼을 지원한다고 안내합니다. 추론 프레임워크로는 Transformers, SGLang, vLLM, llama.cpp, Ollama를, 미세 조정에는 SWIFT와 LLaMA-Factory를 제시합니다. GGUF, BNB, AWQ, GPTQ, FP8 등 양자화 변형도 제공합니다. Transformers 예제에는 이미지·영상 입력 코드와 OpenAI 호환 서버 실행 방법이 포함됩니다. 영상 처리를 위한 torchcodec는 CUDA 버전에 따라 오류가 날 수 있어 PyAV를 쓰거나 CUDA 버전을 맞추라는 안내도 있습니다.
성능 비교와 추가 학습
Instruct 모드에서 MiniCPM-V 4.7 35B-A3B가 Qwen3.6 35B-A3B보다 전체 점수가 높고 추론 시간이 짧다고 주장합니다. 본문에는 비교 결과의 구체적인 점수나 측정 조건이 텍스트로 제시되지 않습니다. Self-Replay Fine-Tuning도 제공하며, 제작사는 적은 비용으로 기능을 확장하면서 기존 능력의 망각을 줄이는 미세 조정 방식이라고 설명합니다.
원문: Hugging Face / 번역·요약: Trawling