openbmb/MiniCPM-V-4.7-35B-A3B-gguf
MiniCPM-V 4.7 35B-A3B GGUF 공개 - MoE 모델의 온디바이스 추론 최적화
OpenBMB가 멀티모달 MoE 모델 MiniCPM-V 4.7 35B-A3B의 llama.cpp용 GGUF 버전을 공개했습니다. 제작진은 전문가 가중치 사전 로딩, 세밀한 양자화, 추측 디코딩을 결합해 iPhone 17 Pro Max에서 메모리 3GB로 초당 13토큰 이상을 생성한다고 밝혔습니다.
- 주제
에디터 노트
LES 설명에서 설득력 있는 부분은 예측이 전문가 선택을 바꾸지 않고 사전 로딩 순서에만 쓰인다는 점입니다. 예측이 빗나가도 실제 라우터가 고른 전문가를 불러와 계산하므로, 라우팅 범위를 줄여 로딩을 아끼는 방식과 구별됩니다. 양자화와 추측 디코딩까지 함께 적용해 기기 추론을 빠르게 한다는 설계도 구체적으로 제시합니다. 다만 초당 13토큰 이상, 메모리 3GB라는 수치와 Qwen3.6 대비 성능 주장은 제작진의 보고입니다. 페이지 본문에는 측정 설정과 비교 점수의 세부 자료가 없어 같은 조건에서 재현하거나 비교할 근거가 충분하지 않습니다. 따라서 이 자료가 뒷받침하는 범위는 최적화 기법과 공개된 실행 수치까지이며, 성능 우위의 크기까지 확인되지는 않습니다.
AI 요약
OpenBMB가 이미지와 동영상을 처리하는 멀티모달 모델 MiniCPM-V 4.7 35B-A3B의 GGUF 버전을 공개했습니다. GGUF는 llama.cpp에서 사용할 수 있는 모델 형식이며, 저장소에는 BF16 원본 가중치와 전체 모델 카드로 연결되는 링크도 있습니다. MiniCPM-V 계열에서 처음 선보이는 MoE 모델로, 기존 계열의 단일 이미지, 여러 이미지, 동영상 이해 기능을 이어받았습니다.
온디바이스 MoE 추론을 위한 세 가지 기법
MoE 모델은 전체 전문가 가중치보다 한 토큰을 처리할 때 활성화하는 파라미터가 적지만, 기기에서 추론하려면 선택될 수 있는 전문가 가중치도 저장하거나 불러와야 합니다. 메모리에 모든 가중치를 올리지 못하면 SSD 등에서 필요한 전문가를 읽어야 하고, 반복적인 로딩이 디코딩을 늦출 수 있습니다. 프롬프트 시작 시 사용할 전문가 집합을 고정하면 로딩을 줄일 수 있지만, 이후 토큰별 라우팅이 그 집합에 제한됩니다.
MiniCPM-V 4.7은 이 문제를 세 가지 기법으로 다룬다고 설명합니다. Lookahead Expert Scheduling(LES)은 레이어 간 라우팅을 예측해 다음 레이어에서 쓰일 가능성이 큰 전문가를 미리 불러옵니다. 예측은 사전 로딩과 실행 순서 조정에만 쓰이며, 실제 계산은 원래 모델의 토큰별 라우터가 선택한 전문가를 따릅니다. 예측에서 빠진 전문가도 필요하면 불러와 계산합니다. 따라서 LES가 전문가 선택 자체를 제한하지 않는다는 것이 제작진의 설명입니다.
두 번째는 레이어별 세밀한 양자화입니다. 전문가 가중치의 저장 공간과 메모리 이동량을 줄여 제한된 기기 메모리와 대역폭에 맞춥니다. 세 번째는 DSpark 추측 디코딩입니다. 별도로 공개한 DSpark 초안 모델을 활용해 추론 속도를 높이며, 제작진은 이 기법이 전문가 스케줄링과 양자화를 보완한다고 설명합니다. 세 기법을 결합해 iPhone 17 Pro Max에서 메모리 3GB로 초당 13토큰 이상을 생성한다고 보고했습니다.
시각 입력 처리와 배포
비전 인코더에서는 LLaVA-UHD v4의 intra-ViT 조기 압축 기법을 바탕으로 시각 토큰을 일찍 줄여 이후 인코더 연산량을 낮춥니다. 16배 압축은 효율을 높이고, 4배 압축은 더 많은 시각 토큰을 남겨 세부 묘사를 살리는 설정입니다. 이미지와 동영상에서 압축률을 바꿀 수 있고, 고해상도 이미지 분할 수와 동영상에서 샘플링할 프레임 수도 지정할 수 있습니다. 동영상 예제는 최대 128개 주요 프레임을 처리하도록 구성합니다.
모델 카드는 iOS, Android, HarmonyOS 배포와 Rockchip, Houmo, Intel, AMD, Arm 플랫폼 지원을 안내합니다. 추론 프레임워크로 SGLang, vLLM, llama.cpp, Ollama를 제시하며, Transformers 예제에는 이미지와 동영상 입력, OpenAI 호환 서버 실행 방법도 포함합니다. 다만 해당 저장소는 llama.cpp용 GGUF 가중치 배포처입니다. 예제에 나온 Transformers 설치와 서버 명령은 원본 모델 ID를 사용하는 경로입니다.
성능과 효율 비교
제작진은 Instruct 모드에서 MiniCPM-V 4.7 35B-A3B가 Qwen3.6 35B-A3B보다 전체 점수가 높고 추론 시간은 짧다고 설명합니다. 또 성능 저하 없이 온디바이스에서 부드럽게 실행되는 최초의 오픈소스 MoE 모델이라고 주장합니다. 모델 카드는 기기에서 촬영한 실행 화면이 편집되지 않은 영상이라고 밝히지만, 제공된 본문에는 13토큰 이상이라는 수치를 재현할 하드웨어·실험 설정이나 비교 점수의 구체적인 표가 없습니다.
모델은 35B-A3B와 1B 두 크기로 제공되며, GGUF 외에도 BF16, FP8, int4, AWQ, GPTQ 변형을 안내합니다. GGUF 가중치는 CPU 추론을 지원합니다. 제작진은 기존 능력의 망각을 줄이면서 적은 비용으로 모델을 확장하는 Self-Replay Fine-Tuning(SRFT)도 공개했다고 밝혔습니다.
원문: Hugging Face / 번역·요약: Trawling