Edge0-35B-A3B 프리뷰 — 스마트폰급 메모리에서 동작하는 35B급 MoE 모델

본문

Hugging Face에 공개된 Edge0-35B-A3B-preview는 edge0 스트리밍 추론 프레임워크 기반의 35B급 sparse MoE 언어 모델 얼리 프리뷰입니다. 4비트 체크포인트 전체를 스토리지에 둔 채 expert만 필요 시 스트리밍하는 방식으로, 활성 메모리 3 GiB 미만에서 초당 15토큰 수준의 실용적인 속도를 구현한 것이 핵심입니다. 체크포인트는 int4 양자화본과 이 프레임워크용으로 학습된 LoRA·prerouter 어댑터가 함께 제공되며 자동으로 로드됩니다.

핵심 사양과 동작 방식

베이스 모델은 Qwen3.6-35B-A3B이며, 4비트 양자화, 40개 레이어, 토큰당 256개 expert 중 4개(K=4)를 활성화하고 hidden size는 2048입니다. 라이선스는 Apache 2.0이고 프레임워크는 MLX 백엔드를 쓰는 edge0입니다. 4비트 체크포인트는 스토리지에 유지되고 expert 가중치만 라우팅되는 시점에 메모리로 가져오기 때문에 샤딩이나 가중치 전체의 사전 로딩 없이 RAM 사용량이 3 GiB 미만으로 유지됩니다. 디코딩은 15 tok/s, 긴 프롬프트 프리필은 140 tok/s로 대화형 사용에 충분한 수준을 목표로 합니다.

동작을 가능하게 하는 세 가지 메커니즘

첫째는 SSD expert offload입니다. expert 가중치를 스토리지에서 온디맨드로 가져와 RAM에는 활성 가중치만 유지하므로, 피크 메모리가 전체 파라미터 수가 아니라 활성 expert 세트에 의해 결정됩니다. 둘째는 prerouter로, 한 스텝 앞의 expert 라우팅을 예측하는 학습된 헤드입니다. expert 로딩이 forward pass와 겹쳐 진행되면서 스톨을 줄여 최대 +59%의 디코드 처리량 향상을 내고, 이 이득은 스토리지 지연·모델 크기·라우팅 폭 K가 클수록 커집니다. 셋째는 Recover-LoRA입니다. int4 베이스를 동결한 상태에서 FP teacher로부터의 증류로 LoRA 어댑터를 학습시켜 4비트 양자화 손실의 대부분을 회복하며, 어댑터는 병합하지 않기 때문에 하나의 읽기 전용 베이스로 여러 어댑터 세트를 서빙할 수 있습니다.

품질 — fp16 베이스와의 격차 평균 3.9점

제작 측이 OpenCompass로 동일 조건에서 측정한 결과, edge0 파이프라인(int4 + 어댑터)은 fp16 베이스 대비 평균 3.9점 낮았습니다. 세부 수치는 AIME 2026에서 86.6 대 92.7, HumanEval 90.9 대 95.1, GPQA-Diamond 79.8 대 81.8, MMLU-Pro 81.0 대 84.6, IFBench 57.9 대 61.7, 평균 79.2 대 83.2입니다.

실측 성능과 활용 사례

Mac mini M4 Pro 24GB에서 examples/bench.py로 측정한 결과 디코드 14.9~17.7 tok/s, 프리필은 콜드 113 / 웜 140 tok/s, 피크 활성 메모리는 2.9 GiB로 나타났습니다. 단, 짧은 컨텍스트 기준이며 긴 컨텍스트는 KV 캐시가 추가됩니다. 활용 사례로는 GPU VRAM이 부족하고 NVMe 등 스토리지가 빠른 엣지·온디바이스 추론, 하나의 읽기 전용 베이스로 다수 LoRA 세트를 재양자화 없이 서빙하는 단일 머신 배치 서빙, 번들된 챗 템플릿의 thinking mode를 활용한 다국어 채팅과 추론을 제시합니다.

한계와 설치 방법

프리뷰 릴리스인 만큼 커버리지와 품질은 확장 중이며 주로 베이스 모델의 언어에 맞춰져 있습니다. 툴 사용·멀티스텝 계획·장기 자율 작업 같은 에이전트 역량은 아직 최적화되지 않아 약하고, 정식 릴리스에서 강화할 예정이라고 밝힙니다. MLX 백엔드는 현재 Apple Silicon을 대상으로 하며 다른 백엔드는 로드맵에 있습니다. 설치는 pip로 edge0를 [fetch] 옵션과 함께 인스톨한 뒤 huggingface-cli download로 리포지토리를 내려받고, edge0 chat로 대화하거나 edge0 serve로 OpenAI 호환 HTTP API를 띄울 수 있습니다. 지난달 다운로드 수는 27,759건입니다.

원문: Hugging Face / 번역·요약: Trawling