LiquidAI/LFM3-1.7B · Hugging Face
Liquid AI, 로컬 에이전트용 17억 매개변수 LFM3-1.7B 공개
Liquid AI가 로컬 에이전트와 도구 호출에 맞춘 17억 매개변수 언어 모델 LFM3-1.7B를 공개했습니다. 4비트 구동 시 메모리 약 1GB, 최대 256K 토큰 문맥을 내세우며, 자체 벤치마크에서는 여러 도구 사용 평가에서 비교 모델을 앞섰지만 복잡한 추론과 에이전트 코딩에는 권장하지 않습니다.
- 주제
에디터 노트
17억 매개변수 모델의 강점은 범용 추론보다 제한된 메모리에서 도구 호출과 특화 작업을 맡기는 데 있습니다. 모델 카드도 복잡한 다단계 추론과 에이전트 코딩을 권하지 않으며 검색이나 retrieval을 지식 작업에 보완책으로 제시합니다. 따라서 SWE-bench 43.40이라는 단일 점수보다 용도별 점수와 실행 조건을 함께 보는 편이 모델의 목표에 맞습니다. 벤치마크 표는 도구 사용과 에이전트 평가에서 좋은 수치를 보이지만 Liquid AI가 공개한 자체 평가이며, 256K와 128K처럼 비교 모델의 문맥 조건도 다릅니다. Reddit에서는 작은 모델의 높은 코딩 점수를 두고 과적합성 최적화라는 의심과, 모델 크기만으로 점수를 깎아서는 안 된다는 반응이 맞섰습니다. 제공된 자료만으로 그 의심을 판정할 근거는 없고, 라이선스의 상업적 조건도 댓글의 질문만으로 확인할 수 없습니다. 속도와 메모리 수치는 구체적 실행 조건이 공개된 만큼 참고할 수 있지만, 품질 우위의 일반화에는 작업별 평가가 더 필요합니다.
AI 요약
Liquid AI가 로컬 에이전트와 특화 응용을 겨냥한 텍스트 모델 LFM3-1.7B를 공개했습니다. 모델은 17억 3천만 매개변수이며, 4비트 정밀도로 약 1GB 메모리를 사용한다고 안내합니다. 입력과 출력 합계 최대 256K 토큰을 지원하고 한국어를 포함한 16개 언어를 대상으로 합니다. 라이선스는 LFM Open License v1.0입니다.
구조와 학습
24개 레이어 가운데 13개는 gated short convolution, 5개는 sliding-window attention, 6개는 global attention으로 구성됩니다. Liquid AI는 이를 tri-hybrid 구조라고 부릅니다. 사전학습은 총 22조 토큰으로 진행했으며, 마지막 3조 5천억 토큰 구간에서는 정제한 데이터와 에이전트 실행 기록, 도구 호출 비중을 늘리고 문맥 길이를 256K로 확장했습니다. 후속 학습은 1조 7,500억 토큰의 supervised fine-tuning, 여러 분야를 함께 다루는 강화학습, 여섯 전문 교사 모델의 지식을 하나로 옮기는 multi-domain on-policy distillation, 실제 에이전트 환경에서 진행한 agentic RL로 이뤄졌습니다.
사용과 성능
모델 카드는 도구 호출, 구조화된 출력, 로컬 에이전트와 도메인별 미세조정을 주요 용도로 꼽습니다. 지식이 많이 필요한 작업에는 검색이나 retrieval을 함께 쓰라고 안내하며, 크기가 작아 복잡한 다단계 추론이나 에이전트 코딩에는 권장하지 않습니다. 학습된 채팅 템플릿은 ChatML 기반이며, 도구 정의와 결과를 템플릿에 넣고 XML 형태로 생성된 호출을 애플리케이션에서 실행하는 흐름을 제시합니다. 도구를 필요할 때만 불러오는 deferred tools와 도구 검색도 지원합니다.
모델 카드에 실린 평가에서 BFCL V4는 71.39, ToolSandbox는 80.36, Claw-Eval General 평균은 68.64입니다. 비교 표의 여러 2B~9B 모델보다 높은 항목이 있지만 모든 평가에서 앞서는 것은 아닙니다. 예를 들어 MCP-Atlas는 LFM3-1.7B가 32.57로 Qwen3.5 4B의 41.37보다 낮고, SWE-bench Verified도 43.40으로 Qwen3.5 9B의 51.20보다 낮습니다. 평가 환경은 모델마다 문맥 길이가 달랐고, 표의 평균은 각 점수의 단순 평균입니다. 속도 비교는 Q4_0 GGUF, 32K 문맥, 배치 크기 1, 출력 100토큰 조건에서 이뤄졌으며, Liquid AI는 세 기기 모두에서 비교 모델보다 프롬프트 처리 속도 2.5배 이상, 생성 속도 1.8배 이상을 주장합니다. 1,024개 동시 요청으로 NVIDIA B300 한 대에서 하루 36억 토큰을 생성할 수 있다는 수치도 제시했습니다.
Reddit 반응
- @Cultured_Alien — 한 시간 전에 출시된 XHToken/Spark-X2.6-1.7B와 비교하면 어떤가요?
- @Hot_Example_4456 — 벤치마크를 양쪽이 공개한 기준으로 보면 코딩은 그쪽이 낫고 도구 호출은 이 모델이 낫다고 생각합니다. 이렇게 작은 모델에는 코딩보다 이쪽이 더 쓸모 있을 것 같습니다.
- @----Val---- — llama.cpp를 포함한 앱들이 있습니다. 제가 추천하는, 가장 쉽게 구할 수 있는 앱은 PocketPal입니다. 저는 ChatterUI를 개발하지만 아직 iOS에는 내놓지 않았습니다.
- @DrBattletoad — PocketPal은 여러 앱보다 정말 느립니다. Android에서는 LM Playground와 OpenWeights로 옮겼습니다. 제가 시험한 것 중에는 OpenWeights의 에이전트가 가장 좋았습니다.
- @jacek2023 — 제 관점에서 이런 작은 모델은 로컬 미세조정에 딱 맞습니다. 작은 모델을 처음부터 많이 학습시켜 봤지만 LLM은 여전히 너무 컸습니다. 이제 저도 LLM 실험을 해볼 수 있는 시점이 왔습니다.
- @pabluka — 형편없는 GPU로 LFM2.5-1.2B 미세조정을 시작했습니다. 새 1.7B도 들어맞는지 시험해 볼 생각입니다.
- @pabluka — Transformers 라이브러리와 Python을 씁니다. 아직 배우는 중이라 QLoRA를 만들었고, 더 큰 학습을 돌릴 형편은 아닙니다.
- @gpillon — SWE-bench에서 43.4%인데도 Liquid는 에이전트 코딩에 권장하지 않는다고 합니다. 대부분의 AI 연구소라면 '프런티어 모델 킬러'라고 부르고 월 200달러를 받았겠네요.
- @hishazelglance — 17억 매개변수 모델이 90억 모델보다 토큰을 더 빠르게 생성하고 프롬프트를 더 빨리 처리하는 건 당연합니다. 90억 모델은 모바일 우선 LLM으로 만든 게 아닙니다. 정직한 벤치마크를 합시다.
- @indian_geek — 이 모델은 다른 20억 모델보다 훨씬 빠른 것 같습니다. 속도뿐 아니라 결과 품질도 90억 모델과 비교한다는 점에서 비교가 공정하다고 봅니다.
- @ZootAllures9111 — 이전 LFM 모델은 벤치마크만 보고 예상한 것보다 실제 사용에서 훨씬 답답했습니다. 이번 모델은 나아졌기를 바랍니다.
- @ByYiro — 이 라이선스는 이해하기 어렵습니다. 상업용 앱에서 제한 없이 쓸 수 있나요?
- @crusaderky — VL과 Omni 모델이 텍스트 전용 작업에서 얼마나 성능이 떨어지는지도 보고 싶습니다. 그림과 도표가 포함된 웹사이트와 PDF에서 정보를 추출하고 서로 대조하려고 합니다. VL만 써야 하는지, 텍스트 모델에 이미지가 별 정보를 담지 않았기를 바라야 하는지, 텍스트 모델이 비전 도구를 호출하도록 복잡하게 만들어야 하는지 궁금합니다.
원문: Hugging Face / 번역·요약: Trawling