Liquid AI, 영상 입력 지원하는 19억 파라미터 시각 모델 공개

본문

Liquid AI가 10월 27일 공개한 LFM3-VL-2B는 이미지와 영상, 텍스트를 함께 입력받는 19억2000만 파라미터 비전·언어 모델입니다. 영상 질문에 답하고 문서·차트·앱 화면을 읽거나 이미지 속 객체와 공간 관계를 파악하는 작업을 겨냥합니다. 다만 영상은 연속적으로 분석하지 않고 기본 설정에서 초당 2프레임을 뽑아 처리합니다.

기기 내 시각 작업을 겨냥한 구성

모델은 17억3000만 파라미터 언어 모델과 1억6400만 파라미터 비전 인코더, 2500만 파라미터 프로젝터로 구성됩니다. 비전 인코더가 이미지와 영상 프레임의 시각 정보를 추출하고 프로젝터가 이를 언어 모델이 처리할 토큰으로 변환합니다. Liquid AI는 영상 입력을 지원하는 첫 LFM 비전 모델이라고 소개하며, 답변 전에 단계적으로 추론하는 기능과 객체의 위치·공간 관계 파악도 내세웠습니다.

영상은 기본적으로 초당 2프레임, 영상당 4~768프레임을 처리합니다. 각 프레임은 시각 토큰을 더하므로 긴 영상에서는 프레임 수가 늘수록 문맥과 메모리 사용량도 커집니다. Transformers와 vLLM에서는 프레임 속도나 최대 프레임 수를 조정할 수 있지만, 모델 카드에 따르면 llama.cpp는 이 모델에서 초당 2프레임을 사용하며 --video-fps 설정이 적용되지 않습니다.

실행 환경과 용도

가중치는 Hugging Face에서 공개됐으며 라이선스는 LFM Open License v1.0입니다. 모델 카드에는 GPU용 BF16과 CPU·GPU에서 실행하는 GGUF, 애플 실리콘용 4비트 MLX, ONNX Runtime용 체크포인트가 안내돼 있습니다. 예를 들어 llama.cpp의 GGUF 체크포인트를 이용하면 로컬 환경에서 이미지나 영상에 관한 질문을 보낼 수 있습니다.

Liquid AI는 문서·차트·앱 화면 읽기, 이미지 속 객체 찾기, 영상 질의응답과 로봇용 공간 추론을 주요 용도로 제시합니다. 반면 코딩, 여러 차례 이어지는 대화, 복잡한 추론에는 권장하지 않는다고 모델 카드에 적었습니다. 따라서 이 모델의 범위는 범용 대화보다 기기에서 처리하는 시각 이해 작업에 맞춰져 있습니다.

자료: Hugging Face / 정리·해설: Trawling

참고 자료

• Introducing LFM3: Every Modality for Specialized Intelligence | Blog | Liquid AI — https://www.liquid.ai/blog/lfm3