Liquid AI, 24B 파라미터 에이전트 모델 LFM2.5-24B-A2B 공개

Liquid AI가 총 24B 파라미터 중 토큰마다 2.45B를 활성화하는 추론 모델 LFM2.5-24B-A2B를 공개했습니다. 에이전트·도구 사용 작업에 맞춰 학습했으며, LiveClaw에서 48.09점을 기록하고 Apple M5 Max에서 초당 184토큰을 생성했다고 밝혔습니다.

주제: AI 개발 도구 시스템

에디터 노트

LiveClaw와 ToolSandbox에서는 앞서지만 WebArena Verified와 SWE-Bench Verified에서는 Qwen3.6-35B-A3B보다 낮습니다. 따라서 에이전트 성능을 한 점수로 요약하기보다 도구 환경별 결과를 봐야 합니다. 모델 카드가 공개한 수치도 Liquid AI 자체 비교표와 정해진 실행 조건에 따른 결과입니다. 기기 속도 주장은 4K 입력과 Q4_K_M 양자화 조건을 명시했고, B300 처리량은 별도 하드웨어와 동시 요청 설정으로 측정했습니다. 서로 다른 실행 조건의 숫자를 직접 비교할 수는 없습니다. 또 모델은 지식 중심 작업에 검색 결합을 권하고 있어, 빠른 로컬 에이전트라는 목표와 범용 지식 모델의 역할을 구분해 제시합니다.

AI 요약

Liquid AI가 LFM2.5 제품군의 가장 큰 모델이자 마지막 모델인 LFM2.5-24B-A2B를 공개했습니다. 총 파라미터는 24B이고 토큰마다 활성화되는 파라미터는 2.45B입니다. 모델은 답변 전에 추론하는 방식을 기본으로 삼으며, 도구 호출과 에이전트 작업에 맞춰 후속 학습을 거쳤습니다. Liquid AI는 에이전트를 기기에서 빠르고 비공개로 실행하는 용도를 제안합니다.

구조와 학습

모델은 40개 레이어로 구성됩니다. 이 가운데 30개는 double-gated short convolution 블록이고 10개는 GQA 레이어입니다. 각 MoE 블록은 전문가 64개 가운데 4개를 선택합니다. 컨텍스트 길이는 131,072토큰이며 어휘 크기는 128,000입니다. LFM2-24B-A2B와 비교하면 컨텍스트가 32K에서 131K로 늘었고, 비라틴 문자 토큰화를 개선하기 위해 토크나이저 어휘를 65K에서 128K로 확장했습니다.

Liquid AI는 사전 학습에 약 33T 토큰을 사용했다고 설명합니다. 중간 학습에는 32K 컨텍스트의 고품질 데이터 2T 토큰을 투입했고, 추론, 수학, 코드, 지시 이행, 다국어 텍스트에 가중치를 뒀습니다. 이후 131K 컨텍스트의 장문 데이터 300B 토큰을 학습했습니다. 두 단계 모두 도구 호출과 여러 차례 대화하는 궤적을 포함합니다. 후속 학습에는 지도 미세 조정과 교사 모델 특화, 두 단계의 온폴리시 증류, 에이전트 강화 학습이 포함됐습니다. 강화 학습 환경으로 OpenClaw, Hermes Agent, Pi, OpenCode를 사용했다고 밝혔습니다.

벤치마크와 추론 속도

Liquid AI의 비교 표에서 LFM2.5-24B-A2B는 LiveClaw 48.09점을 기록했습니다. 표에 실린 Qwen3.6-35B-A3B는 38.19점입니다. BFCLv4 점수는 각각 65.01과 65.00, ToolSandbox는 80.71과 75.02입니다. 반면 WebArena Verified에서는 LFM2.5가 26.75점으로 Qwen의 37.62점보다 낮았고, SWE-Bench Verified(OpenCode)에서도 51.00점으로 Qwen의 66.20점에 못 미쳤습니다. 따라서 에이전트 성능은 평가 과제에 따라 차이가 있습니다.

기기 추론 속도 측정은 llama.cpp와 Q4_K_M 양자화, 4K 입력 컨텍스트 조건에서 진행했습니다. Liquid AI는 Apple M5 Max에서 초당 184토큰, AMD Ryzen AI Max+ 395에서 초당 114토큰을 기록했고, 비교 대상 MoE보다 최대 1.7배 빠르며 메모리 사용량도 가장 적었다고 밝혔습니다. 단일 NVIDIA B300 GPU 측정에서는 SGLang 0.5.22와 BF16 가중치, 입력 1,024토큰 및 출력 최대 256토큰 조건에서 동시 요청 수를 유지해 처리량을 측정했습니다. 이 조건에서 출력 처리량이 초당 21K토큰을 넘었다고 설명합니다.

배포와 사용 조건

기본 체크포인트는 Transformers, vLLM, SGLang에서 사용할 수 있습니다. FP8 체크포인트는 GPU 서빙의 메모리 사용량을 낮추는 용도이며, GGUF는 llama.cpp와 로컬 CPU 추론에 맞췄습니다. ONNX와 Apple Silicon용 MLX 4비트 형식도 제공합니다. 모델은 ChatML과 비슷한 형식을 따르며, 답변 시작 부분에 <think> 태그를 넣습니다. 함수 호출은 기본적으로 특수 토큰 사이에 Python 형식 호출을 출력하고, 도구 결과를 tool 역할로 전달하면 답변을 이어갑니다.

Liquid AI는 지식이 많이 필요한 작업에 모델만 단독으로 쓰는 방식은 권하지 않습니다. 검색이나 웹 검색을 결합하라고 안내합니다. 특정 용도에 맞춘 추가 미세 조정도 권장합니다.

원문: Hugging Face / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗