Voxtral 3, 음성 모델과 실시간 에이전트 SDK 공개

AI 요약

Mistral은 음성 인식과 음성 합성 모델, 실시간 음성 에이전트 SDK를 묶은 Voxtral 3를 공개했습니다. 음성 에이전트가 여러 언어와 억양을 알아듣고, 문맥을 추론하고, 자연스럽게 말하며, 연결된 시스템에서 여러 단계의 작업을 수행하도록 구성했습니다. SDK는 LiveKit 기반이며 음성 입력과 추론, 도구 호출, 음성 출력을 실시간 스트리밍 파이프라인으로 연결합니다.

음성 인식

Voxtral Small Transcribe 3는 50개 이상 언어의 다국어 전사와 화자 분리, 문맥 편향(context biasing)을 지원합니다. 제품 소개는 영어, 프랑스어, 스페인어 전사와 화자 분리에서 Whisper, Scribe v2, Gemini 3.5 Transcribe보다 높은 성능을 냈다고 주장합니다. Mini 모델은 40억 파라미터이며 분당 0.0035달러입니다. 전문 용어나 고유명사 목록을 입력해 전사 결과를 보정하는 문맥 편향 기능도 제공하며, 별도 미세 조정 없이 특정 분야 용어를 반영하는 용도라고 설명합니다.

Voxtral Mini Transcribe Realtime 3는 35개 이상 언어에서 500밀리초 미만 지연 시간을 목표로 합니다. 화자 분리와 문맥 편향을 지원하고, 음향 및 의미 정보를 함께 사용해 사용자가 말을 마쳤는지 감지합니다. 이 감지 기능은 사용자가 말을 잠시 멈췄을 때 에이전트가 성급하게 끼어드는 상황을 줄이도록 설계했다고 밝혔습니다. 실시간 모델은 분당 0.008달러, Small Transcribe 3는 분당 0.004달러입니다.

음성 합성과 에이전트

Voxtral Speech 3는 35개 이상 언어와 50개 이상 방언을 지원합니다. 문맥에 맞춰 감정과 말의 속도, 강조를 조절하며, 지시문으로 음성 표현을 지정하는 기능과 어휘 라이브러리를 제공합니다. 30분 이상의 음성으로 목소리를 복제하는 기능도 소개했습니다. 음성 합성 비용은 문자 100만 개당 13달러입니다. Mistral은 OpenAI TTS-1, Deepgram, ElevenLabs Flash, Gemini Flash보다 운영 비용이 낮다고 주장합니다.

SDK에서는 실시간 전사 모델이 말을 듣고 발화 종료를 감지하며, Mistral Small 같은 언어 모델이 추론하고 도구를 호출합니다. 음성 합성 모델은 앞선 대화의 말투에 맞춰 응답합니다. 각 단계가 순차적으로 끝날 때까지 기다리지 않고 함께 실행해 한 차례 응답을 1초 안에 마치는 것이 목표입니다. 사용자가 말을 끊으면 에이전트도 말하기를 멈춥니다. 함수 호출, 웹 검색, 사내 시스템 검색을 연결할 수 있고, SIP 전화 통화와 브라우저·앱의 WebRTC를 지원합니다. 각 단계가 별도 모델이라 언어 모델이나 음성, 언어를 바꿔도 에이전트 전체를 다시 작성하지 않아도 된다고 설명합니다.

배포와 비용

Voxtral 3는 유럽·미국·글로벌 Mistral API에서 이용할 수 있습니다. Mistral은 자체 인프라 배포도 가능하다고 안내하지만, 온프레미스나 프라이빗 클라우드 배포는 영업팀에 문의해야 합니다. 음성 에이전트 API는 추론에 Mistral Small 4를 쓰면 분당 0.04달러, 다른 추론 모델을 쓰면 분당 0.08달러입니다. 조직이 오디오 처리 위치와 보관 여부를 통제할 수 있다고 설명합니다.

Hacker News 반응

• @drum55 — 안타깝게도 폐쇄형 모델입니다. 음성 합성과 음성 인식 분야 모델은 로컬 배포가 썩 좋지 않은 흐름이 계속됩니다.
  • @causal — 자체 배포가 가능하다고 했는데, 그 말은 무슨 뜻인가요?
  • @verdverm — 온프레미스 배포와 모델을 받으려면 영업팀에 연락해야 합니다. 오픈 웨이트였다면 Hugging Face에 올라왔고 글에도 링크가 있었겠죠.
• @aliljet — 지금 로컬에서 돌린다면 어떤 선택지가 있나요? 이 분야 로컬 모델로 꽤 좋은 결과를 얻고 있습니다.
  • @7777777phil — 지난 몇 달 동안 여러 Parakeet 모델을 STT에 써봤는데 성능이 꽤 좋았습니다.
  • @xnx — Parakeet을 씁니다. 제 용도에서는 WER이 Whisper와 비슷해 보이는데 10배 넘게 빠릅니다.
• @aliljet — 또 하나 어려운 질문입니다. 이 대화는 실제로 얼마나 실시간인가요? 응답 사이에 지연이 전혀 없는 것처럼 보여줍니다.
  • @Panoramix — 영상에 설명이 나옵니다. 1초 미만을 목표로 합니다.
• @satvikpendem — 폐쇄형 모델이라면 관심이 바로 없어집니다. 폐쇄형 STT와 TTS 모델은 많고 오픈 모델보다 훨씬 좋은 경우도 있습니다. 오픈 모델이 아니라면 쓸 것 같지 않습니다.
  • @dymk — 이 제품의 특별한 점은 STT나 TTS라기보다 실시간 추론 모델을 연결해 대화 내용을 실제 작업으로 옮기는 부분이라고 봅니다. 모델이 검색해야 할 때 도구 호출 지연을 감추는 방식도 포함해서요.
• @sarkarghya — 요즘 ASR 모델에 문맥 편향 기능이 기본으로 들어가는 점이 좋습니다. 사용량이 충분하다면 모델을 직접 호스팅하고 편향 설정을 관리하겠지만, 맞춤 솔루션을 배포하기에는 충분히 괜찮습니다.
• @MisterMunchkin — 페이지에서 음성을 개선했다고 보여주는 예시가 별로입니다. 버전 1은 실제 사람처럼 들렸는데 이번 버전은 전형적인 AI 음성처럼 들립니다.
• @karannb — TTS 모델은 LLM과 위협 모델이 다릅니다. 오픈소스화하기 쉽지 않습니다. 아직 시행되지는 않았지만 EU가 AI 기업에 적용하려는 규제와도 관련이 있습니다.
• @ilaksh — Voxtral Large는 정확히 어떻게 통합했나요? 도움을 요청한다는 특수 토큰을 출력하나요, 아니면 명령을 실행하나요? 생각하거나 도움을 요청할 시점을 학습했다면 좋겠습니다. 오픈소스가 아니라 아쉽지만, 유럽 등에서 데이터 통제를 원하는 대기업에는 좋은 선택지일 수 있습니다. 다만 진정한 풀 듀플렉스는 아직 별개의 문제입니다.
• @aand16 — 음성 인식 모델의 문제는 WER, 가격, 속도, 언어 지원입니다.

원문: Mistral / 번역·요약: Trawling