로컬 LLM의 속도와 메모리, 모델 크기만으로 정해지지 않는다

메모리 부담을 줄이는 방법은 서로 다르다

‘Edge0-35B-A3B 프리뷰 — 스마트폰급 메모리에서 동작하는 35B급 MoE 모델’은 4비트 양자화와 SSD에서 필요한 expert 가중치를 불러오는 방식을 함께 사용합니다. 제작자 설명에 따르면 전체 체크포인트는 저장장치에 두고 활성 가중치만 메모리에 올려, 짧은 컨텍스트에서 최대 활성 메모리를 2.9GiB로 측정했습니다. 다만 긴 컨텍스트에서는 KV 캐시가 추가되고, 이 수치는 저장장치에서 불러오는 expert 가중치가 상주하지 않는 조건의 결과입니다.

‘Liquid AI, 24B 파라미터 에이전트 모델 LFM2.5-24B-A2B 공개’는 24B 전체 파라미터 가운데 토큰당 2.45B가 활성화되는 MoE 모델을 설명합니다. 이는 전체 가중치를 저장장치에서 스트리밍해 활성 메모리를 제한한다는 Edge0의 설명과 다른 접근입니다. Liquid AI는 Apple M5 Max에서 4K 입력, llama.cpp와 Q4_K_M 양자화로 초당 184토큰을 보고했지만, 이 자료의 해당 구간에는 같은 조건에서의 메모리 수치가 제시되지 않습니다.

하드웨어와 측정 조건이 속도를 좌우한다

두 모델의 처리량을 그대로 맞대어 성능 순위를 매기기는 어렵습니다. Edge0가 공개한 초당 14.9~17.7토큰은 Apple Silicon의 Mac mini M4 Pro에서 MLX 백엔드로 측정한 값이고, LFM2.5의 초당 184토큰은 Apple M5 Max에서 llama.cpp와 Q4_K_M으로 얻은 값입니다. 기기와 실행 엔진, 모델 및 양자화 조건이 다르므로, 이 차이만으로 모델 구조의 우열이나 같은 기기에서의 속도 차이를 단정할 수 없습니다.

‘탈옥한 PS5에서 로컬 AI 모델 구동 — 작은 모델은 초당 124토큰’은 소프트웨어 실행 방식이 바뀔 때 같은 기기 안에서도 결과가 달라질 수 있음을 보여줍니다. 보도에 따르면 초기 CPU 기반 실행은 메모리가 약 6.25GiB로 제한됐지만, GPU에 접근하는 네이티브 실행으로 최대 11.4GiB를 쓸 수 있었고 Qwen3.8-27B는 초당 20토큰, Gemma 4 E4B는 61토큰, Llama 3.2 3B는 124토큰을 냈습니다. 이 사례는 작은 모델일수록 빠른 결과를 보였지만, Edge0나 LFM2.5와 기기·구현이 달라 직접적인 교차 비교 수치로 볼 수는 없습니다.

수치는 각자의 사용 조건 안에서 읽어야 한다

세 사례는 로컬 실행의 자원 절약이 한 가지 방식으로 이뤄지지 않음을 보여줍니다. Edge0는 양자화와 SSD 스트리밍으로 활성 메모리를 제한하면서 제작자 측정 기준 평균 벤치마크 점수가 fp16 기반 모델보다 3.9점 낮았다고 보고합니다. LFM2.5는 활성 파라미터 수와 특정 Apple 기기의 생성 속도를 강조하고, PS5 사례는 GPU 접근과 더 큰 메모리 사용이 가능해진 뒤 모델별 속도를 제시합니다. 따라서 모델의 총 파라미터 수만으로 필요한 메모리나 체감 속도를 가늠하기보다, 활성화·저장 방식, 하드웨어, 컨텍스트 길이와 측정 방법을 함께 확인해야 합니다.