Nari Labs, Qwen3-TTS·Qwen3-ASR로 Coval 음성 AI 벤치마크 선두 — 고정확도·저지연·저비용 주장

본문

음성 AI 인프라 스타트업 Nari Labs가 자사가 서빙하는 Qwen3-TTS와 Qwen3-ASR 모델이 Coval의 음성 AI 벤치마크에서 Text-to-Speech와 Speech-to-Text 양쪽 모두 품질-지연 파레토 프론티어(Pareto Frontier)에 올랐다고 발표했습니다. 지연-비용, 품질-비용 파레토 프론티어에서도 공개 모델 중 선두라고 주장합니다. 자사 홍보 성격의 글이지만, 구체적인 지연·정확도·가격 수치와 경쟁 서비스 비교가 담겨 있어 음성 에이전트를 구축하는 개발자에게 참고할 만한 데이터를 제공합니다.

Coval 벤치마크와 평가 지표

Coval은 음성 AI 평가 및 벤치마크 제공사로, 업계에서 널리 인용되는 벤치마크를 공개합니다. TTS 벤치마크는 텍스트 입력부터 첫 가청 오디오 청크까지의 시간인 TTFA(Time-to-First-Audio)와 WER(Word Error Rate, 단어 오류율)을 측정하고, STT 벤치마크는 사용자의 finalize 요청부터 최종 텍스트 출력까지의 시간인 TTFS(Time-to-Final-Segment)와 WER을 측정합니다. TTFA와 TTFS는 지연이 곧 '반응 없는 에이전트'로 느껴지는 음성 에이전트에서 특히 중요한 지표이며, 낮은 WER은 모델 성능의 핵심 요소입니다.

Speech-to-Text 결과

Qwen3-ASR Fast 모델은 TTFS p50 기준 44ms로 지연 1위, WER 3.6%로 2위를 기록했습니다. WER 1위는 3.5%를 기록한 AssemblyAI의 Universal 3.5 Pro입니다. 가격은 시간당 $0.12로, Coval 가격 디렉터리에서 공개 요금이 알려진 모델 중 공동 2위 최저가입니다. Universal 3.5 Pro는 3.75배, Deepgram Nova 3은 2.4배 더 비싸며, Nari의 Standard 엔드포인트는 시간당 $0.06로 가장 저렴한 수준입니다.

Text-to-Speech 결과

Qwen3-TTS Fast 모델은 TTFA p50 기준 63ms로 지연 2위, WER 3.8%로 1위를 차지했습니다. 중앙값 TTFA가 더 낮은 유일한 모델은 Fluxions의 vui(49ms)인데, 이는 300M 파라미터 모델로 Nari가 서빙하는 1.7B 규모의 Qwen3-TTS보다 훨씬 작습니다. 가격은 100만 자당 $10으로 공동 1위 최저가이며, ElevenLabs Eleven v3 Conversational은 5배, Cartesia Sonic 3.6은 6.5배 더 비쌉니다. Standard 엔드포인트는 100만 자당 $5입니다. 특히 같은 모델을 서빙하는 공식 Qwen3 TTS Flash Realtime 엔드포인트가 WER 8.8%, TTFA 692ms를 기록한 점, 그리고 Baseten의 전용 Qwen3-TTS 엔드포인트(WER 6.0%, TTFA 101ms)도 앞섰다는 점을 강조하며, 동일 모델이라도 서빙 최적화가 성능을 좌우한다는 메시지를 전달합니다.

베타 종료 및 해석 시 주의점

Public Beta API는 이번 주 내 유료 GA로 전환되며, 전환 시점까지 계정을 만든 사용자에게 $20 크레딧을 제공합니다. 벤치마크 수치는 30분마다 변동될 수 있으며, 이 글의 수치는 2026년 9월 14일 15:00 UTC 기준 Coval의 1일 보기를 바탕으로 합니다. WER은 여러 데이터셋에 걸쳐 풀링되었고, 순위는 전용 추론 엔드포인트를 제외한 공개 엔드포인트만 대상으로 합니다.

Hacker News 반응

• @asaiacai — 멋진 작업이다. TTS 모델 속도를 높이는 가장 큰 지렛대가 무엇인지, 왜 이 방향이 유망하다고 봤는지 궁금하다. 추측컨대 증류(distillation)이겠지만, 추론을 훨씬 빠르게 만드는 TTS 인지형 아키텍처 변경이 있었을 것 같다.
• @toebee — 관심 감사하다. 어떻게 해냈는지 정확히 다룬 블로그 글이 있다(속도·비용 프론티어 관련 글 링크).
• @meatmanek — ASR 추론 엔진도 오픈소스인가?
• @nshm — 그렇다. 아주 좋은 엔진이며 Hugging Face의 open_asr_leaderboard에서 선두권이다.
• @meatmanek — 내가 물은 것은 Nari의 Qwen3-ASR 추론 엔진이다. Qwen3-ASR 자체가 오픈소스인 것은 알지만 nari-labs GitHub에는 관련 리포지토리가 없고, 제품 페이지의 HF 링크도 nari-labs가 아닌 Qwen 원본 모델로 연결된다.

원문: Nari Labs Blog via Hacker News / 번역·요약: Trawling