LFM3 공개: 특정 작업에 맞춘 소형 멀티모달 모델군

AI 요약

Liquid AI가 LFM2의 후속 모델군 LFM3를 공개했습니다. 첫 출시 모델은 모두 약 20억 파라미터 규모이며, 1.7B 기반 모델에서 텍스트, 비전, 오디오, 옴니, 의사결정 모델 여섯 종을 파생했습니다. 오픈 웨이트를 Hugging Face에서 내려받을 수 있고, Liquid AI API와 Playground에서도 사용할 수 있습니다.

아키텍처와 학습

LFM3-1.7B-Base는 22조 토큰으로 사전 학습했습니다. 마지막 3조5000억 토큰은 품질을 선별한 데이터로 중간 학습을 진행했으며, 에이전트 추적 데이터와 도구 호출 비중을 늘리고 컨텍스트 길이를 256K 토큰으로 확장했습니다. 아키텍처는 게이트 단기 합성곱, 256토큰 슬라이딩 윈도우 어텐션(SWA), 전역 어텐션을 섞습니다. 24개 층 가운데 13개가 합성곱, 5개가 SWA, 6개가 전역 어텐션입니다. 회사 측은 LFM2-1.2B와 짧은 입력에서 비슷한 성능을 내면서 8K 컨텍스트에서는 약 25% 빠르다고 밝혔습니다.

텍스트와 에이전트

LFM3-1.7B는 에이전트 실행 환경인 Hermes Agent, Pi, OpenClaw에 맞춰 후학습했습니다. 지도 미세조정 1조7500억 토큰, 여러 작업을 함께 학습하는 강화학습, 여섯 전문 모델의 다중 도메인 온폴리시 증류, 실제 에이전트 환경에서 진행한 강화학습을 거쳤습니다. 공개 표의 에이전트·도구 사용·지시 이행 지표에서는 일부 더 큰 모델을 앞섰지만, 에이전트 코딩과 지식 평가에서는 큰 모델이 앞서는 항목도 있습니다. 회사는 llama.cpp 기준 Q4_0 양자화와 32K 컨텍스트 환경에서 세 기기 모두 가장 빠르고 메모리 사용량도 가장 적었다고 보고했습니다. 128K 컨텍스트의 KV 캐시는 1.6GB라고 밝혔습니다.

비전, 오디오, 옴니

LFM3-VL-2B는 동영상 입력과 시각적 추론을 지원합니다. Liquid AI가 자체 개발한 비전 인코더는 이전 SigLIP2 인코더보다 연산량이 3분의 1이며, 164M 파라미터 인코더가 13개 평가에서 평균 정확도 55.9%를 기록했다고 회사는 설명합니다. LFM3-Audio-2B는 음성 인식과 합성, 오디오 이해, 도구 호출을 지원하고 18개 언어를 다룹니다. 자체 오디오 인코더는 인과 구조로 실시간 입력을 처리하며, 첫 토큰까지 최저 50ms가 걸린다고 합니다. LiquidCodec은 Apple M4 Max CPU 한 코어에서 실시간의 약 87배 속도로 음성을 생성합니다. LFM3-Omni-2B는 영상, 오디오, 언어를 한 모델에서 처리하고 음성 지시를 구조화된 도구 호출로 연결합니다. 다만 Liquid AI 관계자는 단일 모달에 특화한 모델이 해당 작업에서 옴니 모델보다 강하다고 댓글에서 설명했습니다.

의사결정과 특화 사례

d1-2B와 d1-Omni-2B는 긴 답변 대신 입력에 대한 여러 판단을 한 번에 내고 각 결과에 확률을 붙입니다. 텍스트와 선택지뿐 아니라 이미지 속 위치를 상자로 표시하고, 문서에서 값과 근거 구간을 읽으며, 수치와 범위를 추정하는 형식도 지원합니다. d1-2B는 이전 d1-3B보다 파라미터가 3분의 1 적고, 회사가 공개한 Decision Bench 점수는 83.6에서 85.2로 올랐습니다.

Liquid AI는 풍력 터빈 날개 결함 사진 약 3000장으로 LFM3-VL-2B를 몇 시간 동안 미세조정했습니다. 보류 사진 약 1400장 평가에서 분류 정확도는 10% 미만에서 67%로, 탐지 F1은 0.003에서 0.11로 올랐다고 밝혔습니다. 로봇 사례에서는 도구 호출을 이용한 팔 조작, 시각언어 내비게이션, 연속 동작을 출력하는 VLA 모델을 제시했습니다. 내비게이션 모델은 R2R에서 53%, RxR에서 43% 성공률을 기록했고, Jetson AGX Orin에서 초당 2.5회 넘게 경로를 갱신했습니다. 조작 모델은 같은 장치에서 FP16 TensorRT로 50ms 이내에 동작 묶음을 생성한다고 합니다.

Hacker News 반응

• @samstevens — 이번 출시 작업에 참여했습니다. 로컬 AI와 클라우드 프런티어 모델에 관해 질문을 받겠습니다.
  • @hypfer — 짧게 말해 왜 신경 써야 하나요? 뭐가 멋진가요? 문서를 훑어보니 특정 용도에 맞춘다는 이야기 같은데 그게 무슨 뜻인가요? 집중력이 부족한 사람에게 설명한다면요?
  • @samstevens — 관심사에 따라 다릅니다. 로컬 분류나 이미지 처리라면 d1-2B가 좋다고 생각합니다. 공유 메모리 1GB에서 실행할 수 있습니다. 에이전트에 관심 있다면 1.7B는 크기에 비해 강하고 이메일 분류나 다운로드 폴더 정리 같은 일을 자동화할 수 있습니다. SFT, DPO, GRPO로 특정 용도에 맞게 미세조정할 수도 있습니다. 더 큰 모델은 비싸고 GPT-6-Luna로도 부족한 반복 작업이라면 LFM3를 미세조정해 로컬에서 쓸 수 있습니다.
  • @0xbadcafebee — 작은 모델을 단순히 축소해 루프에 빠지거나 추론과 도구 호출이 망가지는 경우와 달리, 작지만 실제로 쓸 수 있게 설계한 모델이라는 게 제 해석입니다. 여러 플랫폼에서 텍스트, 오디오, 비디오를 처리하도록 미세조정하는 용도입니다.
• @Powdering7082 — 추론 과정에 도구를 써야 한다는 지시가 보였습니다. 도구 사용 강화학습을 많이 해서 모델에 들어간 내용인가요?
  • @samstevens — 어떤 모델인지, 도구를 사용할 수 있는 상황이었는지 궁금합니다. 도구 사용 강화학습을 많이 했지만 추론 과정이 항상 완벽하지는 않습니다. 잘못된 생각을 하다가도 회복할 수 있습니다.
  • @Powdering7082 — llama-serve에서 브라우저용 get_info 도구를 제공한 상태였습니다. 도구를 끄면 지시를 언급하는 부분이 사라졌습니다. 추론 과정에 벌점이나 정규화를 적용하나요, 아니면 SFT 다음에 RL을 하나요?
  • @samstevens — 흥미롭네요. Playground나 로컬 llama-server에서는 보지 못했습니다. SFT 다음 RL입니다. 미세조정 노트북에서는 최대 컨텍스트를 넘기는 롤아웃에 보상을 주지 않아 긴 추론을 조금 억제합니다. 강한 정규화는 없다고 생각합니다. 먼저 더 길게 추론해 똑똑하게 만든 뒤 더 빠르고 조밀하게 추론하도록 가르치는 방식이 합의된 처방이라고 봅니다.
• @rullopat — OCR이나 PDF, DOCX 같은 문서 파싱에도 쓸 만한가요?
  • @samstevens — 네. LFM3-VL-2B는 크기에 비해 OCR 성능이 좋고 범용 모델이라는 점도 감안할 만합니다. 특정 출력 형식으로 미세조정하면 성능을 크게 높일 수 있습니다.
• @maxiR8 — 실시간 모드가 30초마다 텍스트를 다시 시작하는데 몇 분 동안 이어지는 일을 처리할 때 어떤 영향이 있나요? 한 시간 녹음에서 할 일을 뽑으려면 LFM3-Audio-2B에 바로 넣어야 하나요, 먼저 전사한 뒤 LFM3-1.7B에 넣어야 하나요? 미세조정에는 라벨 사례가 얼마나 필요한가요?
  • @samstevens — 하드웨어와 처리량 요구에 따라 다릅니다. M4 Max와 36GB 메모리를 쓰는 업무용 노트북에서 하루 회의록을 일괄 처리한다면 LFM3-Audio-2B로 전사한 뒤 LFM3-1.7B로 할 일을 추출해 Linear, Jira, 메모 앱 등에 넣겠습니다. GPU가 있고 라벨 사례가 100개 이상이면 오디오 모델을 음성에서 할 일까지 한 단계로 처리하도록 미세조정할 수도 있습니다.
• @TobTobXX — 시각 작업에서 LFM3-Omni-2B는 LFM3-VL-2B와 비슷한가요? 원하는 기능에 맞춰 모델을 골라야 하나요, Omni 하나만 쓰면 되나요?
  • @samstevens — 추가 모달리티가 없는 모델이 여전히 해당 작업에서 더 강합니다. 순수 텍스트에는 LFM3-1.7B가, 텍스트와 비전에는 LFM3-VL-2B가, ASR과 TTS에는 오디오 모델이 Omni보다 강합니다. 앞으로 모달리티별로 갈라지지 않는 모델을 만들도록 학습을 계속 통합하는 것이 목표입니다.
• @CMay — 로컬 콘텐츠 조정에 특화한 작업을 했나요? 아이나 학교에서 쓸 때 오탐이 많으면 사용자가 통제를 되찾고 싶어 할 수 있습니다. 여러 질문으로 조정할 수 있는 효율적이고 정확한 로컬 조정 기능이 필요합니다.
  • @samstevens — 어떤 조정을 원하는지 더 설명해 주실 수 있나요? 일부 모델에서 볼 수 있는 성인 전용 콘텐츠를 만들도록 학습하지는 않았지만, 질문하신 범위가 정확히 무엇인지는 분명하지 않습니다.
• @colingauvin — LFM 2.6으로 이메일, 문자, 메타데이터를 분류해 하나의 데이터베이스에 넣고 있습니다. RTX A4500에서 들어오는 데이터를 분류한 뒤 신뢰도가 낮은 항목을 더 큰 모델로 재분류합니다. LFM3로 교체할 생각입니다. 현재 LFM 2.6은 데이터의 40% 조금 넘는 항목에 신뢰할 만한 주석을 붙입니다.
  • @pritambaral — 자체 데이터로 미세조정해 보셨나요?
  • @colingauvin — LFM3 미세조정 가이드를 보고 실험해 볼 생각입니다.
  • @Aerialoo — 뉴스 기사 태깅에는 gliner2.5를 추천합니다. 500개 기사에 GPT-6.1로 태그를 붙인 뒤 집의 5090에서 몇 분 만에 미세조정했고, Hetzner CPU 서버에 배포했습니다.
  • @samstevens — GLiNER 계열 모델은 정말 대단합니다. 동료가 LFM 인코더를 프롬프트 기반 분류에 맞게 미세조정하는 것을 최근에 알았습니다. 미세조정 없이 프롬프트로 분류할 수도 있습니다.
  • @ashkankiani — 개인 데이터 흐름의 자동 메타데이터 보강을 실험하고 있습니다. 결정론적 구식 기법과 수작업을 써 왔는데 효율적인 LLM 주석 처리 방법을 배우고 싶습니다. 작은 RAG 모델이나 소형 Qwen, 미세조정, 단계별 의사결정 모델 등 선택지가 많아 보입니다.
  • @colingauvin — 해결된 문제는 아닙니다. 메타데이터 분류만 원하는 게 아닙니다. 정보 사이 관계를 찾고 주제를 실제 객체로 발전시키며 이야기를 정리하고 종합해 쉽게 검색하고 싶습니다.
  • @Havoc — 신뢰도는 어떻게 정하나요? 로그 확률인가요?
  • @colingauvin — 처음에는 같은 모델로 세 번 주석을 만들고 다시 판정하게 했지만 예상대로 실패했습니다. 지금은 로그 확률을 쓰며 수작업 라벨 데이터로 확인합니다. 대체로 약 80% 상관합니다.
• @jauntywundrkind — 에이전트 코딩 점수는 Qwen3.5-4B와 비슷하고 다른 점수는 Qwen3.5-9B와 비슷합니다. 1.7B 모델치고 인상적입니다.
  • @UncleOxidant — 이렇게 작은 모델을 코딩에 진지하게 쓸 사람이 있을까요? 의도된 용도나 강점은 아닌 것 같습니다.
  • @samstevens — SWE 스타일 작업에는 추천하지 않습니다. 파일을 찾으려고 bash 호출을 몇 번 이어가는 정도는 문제없습니다.
• @syntaxing — 2.6B 모델을 Home Assistant의 주 모델로 써 왔는데 괜찮았습니다. 더 빠른 Ling 3.0 Tiny로 바꿨습니다. 2.5 버전은 Home Assistant에 쓰기엔 너무 부족했는데 1.7B가 충분할지 기대합니다.
  • @syntaxing — Home Assistant는 스마트홈 기기의 오케스트레이터입니다. 달력과 위치 공유도 추가할 수 있습니다.
• @dchuk — MLX 버전의 Omni와 텍스트 모델을 LM Studio의 omlx와 rapid mlx에서 실행하려 했지만 safetensors를 읽지 못했습니다.
  • @samstevens — mlx-vlm이 Audio와 Omni를 지원할 것 같습니다. Hugging Face에 두 모델의 MLX 8비트 버전도 있습니다.
• @lubitelpospat — Liquid Playground에서 텍스트만 물어봤는데 LFM3-VL-2B가 LFM3-1.7B보다 나은 답을 줬습니다. 예를 들어 소가 내는 소리를 묻자 1.7B는 꿀꿀이라고 했고 VL 모델은 음매라고 답했습니다. llama에서 Q8로 쓴 두 모델은 모두 맞혔습니다.
  • @samstevens — 어떤 양자화 버전이었나요?
  • @lubitelpospat — 노트북에서 Q8_0을 썼습니다. Playground는 어떤 모델을 쓰는지 Liquid AI의 설명을 듣고 싶습니다.
  • @samstevens — Playground는 클라우드 GPU에 따라 BF16 또는 FP8입니다. 제 환경에서는 소가 음매라고 답했지만 LLM의 비결정성일 수 있습니다.

원문: Liquid AI Blog / 번역·요약: Trawling