openbmb/MiniCPM-V-4.7-1B
MiniCPM-V 4.7 1B 공개 - 이미지·영상 이해와 온디바이스 추론
OpenBMB가 이미지와 영상 이해를 지원하는 1B 멀티모달 모델 MiniCPM-V 4.7을 공개했습니다. 시각 토큰을 초기에 압축하고 4x와 16x 처리 모드를 제공하며, 모바일 배포와 여러 추론·양자화 도구를 지원합니다.
- 주제
에디터 노트
시각 토큰을 일찍 압축하고 4x와 16x 모드를 고르는 설계는 성능과 추론 비용을 조절하려는 목적에 맞습니다. 모바일 기기와 여러 칩 플랫폼 배포, GGUF와 AWQ 등 양자화 선택지도 함께 제공해 작은 모델을 로컬에서 실행하려는 개발자에게 실용적인 구성입니다. 다만 Qwen3.5 0.8B보다 종합 점수와 추론 효율이 높다는 비교는 원문에 수치나 평가 조건이 제시되지 않았습니다. 따라서 해당 주장은 모델 제작진의 설명으로 읽어야 하며, 이 자료만으로 기기별 속도나 메모리 사용량을 비교할 근거는 부족합니다. 반면 torchcodec와 CUDA 호환성 문제, PyAV 대체 방법처럼 실행 과정의 조건은 구체적으로 안내합니다.
AI 요약
OpenBMB가 MiniCPM-V 시리즈의 1B 모델 MiniCPM-V 4.7을 공개했습니다. 단일 이미지와 여러 이미지, 영상 이해를 지원하며 iOS, Android, HarmonyOS 기기에서 실행할 수 있도록 배포 도구와 예제를 제공합니다. 제작진은 이전 버전 MiniCPM-V 4.6보다 기본 성능을 높였고 Qwen3.5 0.8B보다 종합 점수와 추론 효율이 높다고 설명합니다.
시각 토큰 압축과 입력 설정
모델은 LLaVA-UHD v4의 intra-ViT early compression 기법을 바탕으로 비전 인코더 내부에서 시각 토큰을 일찍 압축합니다. 이후 인코더 층의 연산량을 줄이는 구조입니다. 이미지와 영상 입력은 16x 모드로 토큰을 더 많이 합쳐 효율을 높이거나 4x 모드로 더 많은 시각 정보를 유지할 수 있습니다. 두 모드 중 선택한 값은 입력을 만드는 apply_chat_template와 생성 단계 generate에 모두 전달해야 합니다. 고해상도 이미지는 max_slice_nums로 분할 수를 조절하고 영상은 최대 128개 프레임을 샘플링할 수 있습니다.
실행 환경과 개발 도구
문서에는 Transformers를 이용한 이미지·영상 추론 예제와 OpenAI 호환 서버 실행 방법이 담겼습니다. SGLang, vLLM, llama.cpp, Ollama를 추론 프레임워크로 지원하고 SWIFT와 LLaMA-Factory로 파인튜닝할 수 있습니다. GGUF, bitsandbytes, AWQ, GPTQ와 FP8 양자화 선택지도 제공합니다. Self-Replay Fine-Tuning은 기존 능력의 망각을 줄이면서 낮은 비용으로 모델을 확장하는 파인튜닝 방식으로 소개합니다.
영상 디코딩에 사용하는 torchcodec는 CUDA 버전에 따라 문제가 생길 수 있습니다. 문서에서는 CUDA 12 계열 환경에서 오류가 발생하면 PyAV로 바꾸거나 설치할 PyTorch 패키지의 CUDA 버전을 환경에 맞추라고 안내합니다. Intel 플랫폼은 OpenVINO 지원을 제공하며 Rockchip, Houmo, AMD, Arm 플랫폼도 배포 대상에 포함합니다.
원문: Hugging Face / 번역·요약: Trawling