Liquid AI, 다국어 음성 작업 지원하는 LFM3-Audio-2B 공개

본문

Liquid AI가 10월 27일 공개한 LFM3-Audio-2B는 음성 인식·합성·번역과 녹음 이해, 도구 호출을 지원하는 20억 매개변수 오디오 모델입니다. 음성 인식·합성·번역은 한국어를 포함한 18개 언어를 지원한다고 모델 카드에 적혀 있지만, 음성으로 대화하고 음성을 실시간으로 받아쓰는 기능은 현재 영어만 지원합니다.

모델은 오디오를 입력받아 텍스트, 음성 또는 두 형식을 섞어 답합니다. 인과적 오디오 인코더가 사용자의 발화를 처리하는 동안 모델의 입력 사전 처리를 진행해 발화가 끝난 뒤 답변을 시작하기까지의 대기를 줄입니다. Liquid AI는 첫 토큰 시간이 최저 50밀리초라고 밝혔습니다. 이는 회사가 제시한 수치이며, 모든 기기에서의 대화 지연 시간을 뜻하지는 않습니다.

음성을 만드는 LiquidCodec은 모델이 생성한 토큰을 음성으로 바꿉니다. Liquid AI는 이 변환 속도가 Apple M4 Max의 CPU 단일 스레드에서 실시간의 약 87배라고 밝혔습니다. 이 수치는 음성 변환 단계의 특정 장비 측정치입니다. 모델 전체 실행 속도와는 다릅니다. 카드에는 BF16 GPU용과 CPU·GPU용 GGUF, 애플 실리콘용 4비트 MLX, ONNX 체크포인트가 안내돼 있어 실행 환경에 맞춰 선택할 수 있습니다.

음성 요청을 앱이나 기기를 제어하는 도구 호출로 바꾸는 기능도 제공합니다. 다만 모델이 호출 형식과 인자를 생성한 뒤 실제 도구를 실행하고 결과를 대화에 돌려주는 과정은 이를 연결한 애플리케이션이 맡습니다. Liquid AI는 지식이 많이 필요한 작업에는 검색을 권하고, 에이전트형 코딩이나 복잡한 다단계 추론에는 작은 모델 크기를 이유로 권장하지 않는다고 밝혔습니다.

자료: Hugging Face / 정리·해설: Trawling

참고 자료

• Introducing LFM3: Every Modality for Specialized Intelligence | Blog | Liquid AI — https://www.liquid.ai/blog/lfm3