NVIDIA Nemotron 3.5 Transcribe: 40개 언어를 지원하는 오픈 ASR

AI 요약

NVIDIA는 40개 언어 전사, 31개 언어와 영어 간 번역, 13개 언어 화자 구분을 지원하는 오픈 웨이트 음성 모델 Nemotron 3.5 Transcribe를 공개했습니다. 최대 1시간 녹음과 8명 화자에 대응하며 자연어 프롬프트로 출력 형식이나 도메인 용어를 지정합니다. 모델과 데이터셋 Granary v2는 Hugging Face와 ModelScope에서 공개합니다.

모델 성능과 배포

Hugging Face Open ASR Leaderboard에서 영어 평균 WER 5.33%로 평가된 오픈 웨이트 모델 중 1위이며, 다국어 7개 언어 평균 WER은 4.62%, 장문 전사 평균은 10.98%로 모델 카드의 오픈 모델 비교에서 가장 낮다고 NVIDIA는 설명합니다. Artificial Analysis에서는 약 4B 활성 파라미터로 2.8% AA-WER을 기록해 오픈 웨이트 모델 공동 1위에 올랐습니다. 모델은 총 30B 파라미터 중 토큰당 약 4B를 활성화하는 Mamba-Transformer 혼합 전문가 언어 모델과 음성 인코더를 사용합니다.

화자 구분에서는 David AI의 21개 언어 평가에서 DER 18.26%를 기록했고, VoiceArena 영어 전체 세션 평가에서는 14개 시스템 중 cpWER 32.4%로 1위를 차지했습니다. NVIDIA는 공개 체크포인트를 vLLM으로 서빙할 수 있다고 안내합니다. 로컬 배포용 NeMo-Speech.cpp와 양자화 버전은 출시 예정이며, 현재 모델은 실시간 스트리밍이 아니라 녹음 파일용입니다. RTX PRO 6000 Blackwell Server Edition에서 양자화 버전으로 30초 클립을 높은 동시성으로 처리했을 때 100시간 오디오를 3분 이내에 처리했다는 벤치마크도 제시합니다.

Granary v2 데이터와 파인튜닝

Granary v2 공개 매니페스트는 48개 언어, 16개 출처의 463,062시간 데이터를 담습니다. 이 수치는 데이터셋 릴리스 규모이며 Transcribe의 전체 학습 데이터나 샘플링 비중을 뜻하지 않습니다. 데이터는 발화 그대로의 전사, 숫자와 표기를 정규화한 전사, 군더더기를 제거한 정규화 전사 등 세 가지 표적을 제공합니다. 파이프라인은 오디오 준비, ASR 전사와 복구 모델 적용, 태스크 라벨 생성과 품질 검사, 고품질 오디오 선별의 네 단계로 구성됩니다. 개발자는 자체 녹음이나 사용 권한이 있는 공개 말뭉치에 NeMo Curator 파이프라인을 적용할 수 있습니다.

의료 음성 사례는 인도 의료진과 의대생 녹음 3,619개를 사용했습니다. 데이터는 합성 음성 약 153시간, Common Voice의 억양 영어 29시간, MultiMed 의료 녹음 63시간으로 구성했습니다. 개발 세트에서 언어와 문자 체계를 명시한 프롬프트를 적용하자 전체 벤치마크 WER은 30.8%에서 23.8%로 낮아졌습니다. 화자 기준으로 나눈 홀드아웃 2,764개에서는 최선 프롬프트 기준 22.44%였던 WER이 파인튜닝 후 12.17%로 45.8% 감소했습니다. 키워드 WER은 9.2%에서 6.5%, 의미 WER은 10.0%에서 7.6%로 낮아졌습니다. 일반 영어 LibriSpeech test-clean WER은 1.54%에서 1.69%로 소폭 올랐고, 약품명과 진단명 정확 일치에서는 의료 전문 모델이 앞섰습니다.

Hacker News 반응

• @AkashKaStudio - 모델 카드에 따르면 근거리 음성만 대상으로 한 화자 전사 기능도 실험적으로 지원합니다. 다른 오픈소스 Speech LLM에서는 제공하지 않는 기능입니다.
• @wahnfrieden - 일본어에서는 어떤가요?
  • @mewse-hn - 지금 ASR에서 Parakeet과 비교 중인데 더 느리고 무거우며 오류율도 높습니다. 내장 번역도 시험 중이라 결과가 괜찮으면 쓸 만할 수 있습니다. 덧붙이면 Q4 양자화 모델로 시험 중이라 정확도가 온전하지 않을 수도 있습니다.
  • @mewse-hn - 아, 번역은 Parakeet 전사 결과를 클라우드 LLM에 넣는 것보다 나쁩니다. 실망스러운 모델입니다.
  • @mewse-hn - 애니메이션 한 편 전체를 시험했습니다. 보컬을 분리한 음원과 원본 모두에서 주제가의 영어 단어에 혼란을 겪었고 세 번 모두 크게 실패했습니다.
• @solarkraft - > Transcribe는 실시간 스트리밍이 아니라 녹음 파일용입니다. 아쉽네요. Handy의 Nemotron Streaming은 제 받아쓰기를 사실상 해결했습니다. 독일어에 영어 용어와 브랜드명이 섞여도 아주 잘 알아듣습니다.
  • @PorciiVorbesc - 어떻게 설정하셨는지 알려주실 수 있나요?
  • @ndom91 - https://handy.computer/ 모델 선택에서 Nemotron을 고르세요.
  • @PorciiVorbesc - 이름이 Handy라서 휴대전화에서 작동할 줄 알았습니다. 데스크톱 운영체제만 지원하는 것 같네요. Handy에 Nemotron도 언급되어 있지 않습니다. GGP가 말한 Handy와 같은 건가요?
  • @killingtime74 - 기기에서 모델을 실행하거나 OpenRouter에 연결하는 Google Play 앱들이 있습니다. 저는 Android에서 Qwen 3 ASR을 로컬로 씁니다. 이 게시물 모델 다음으로 정확한 오픈 모델입니다.
  • @singhkays - 이 용도로 Android에서 어떤 앱을 쓰시나요?
• @xpct - Nemotron 3를 조금 써봤습니다. 제 데이터에서는 표준 어휘인데도 몇 문장마다 한 번씩 오류가 났습니다. 언젠가는 나아지겠지만 제가 모델보다 단어를 더 잘 알아듣는다는 점에 놀랐습니다.
  • @jiehong - 동의합니다. 저는 Parakeet이나 Qwen ASR이 더 낫다고 느꼈습니다. Mistral이 Voxtral 3를 오픈소스로 공개하지 않은 게 여전히 아쉽습니다.
• @vjulian - MP3 인터뷰가 수천 개 있고 각각 약 한 시간이며 전문 용어가 나옵니다. 보통 화자는 2~3명이고 음질은 보통에서 양호한 정도입니다. OpenAI VTT 모델을 호출하는 로컬 앱을 만들까 생각 중입니다. 최근 평가에서는 OpenAI 모델이 제 용도에 가장 좋았습니다. 실제로 그런가요?
  • @knicholes - 아마 우리는 영영 알 수 없을 겁니다.
• @throwaway81523 - ASR은 automatic speech recognition입니다. STT, 즉 speech to text와 같은 말인가요? NVIDIA GPU가 필요한 것 같습니다. GPU 없이 쓸 만하게 실행되는지 자세히 보지는 않았습니다. 제게 쓸 만하다는 건 오래된 x86 컴퓨터에서 실시간 속도의 10%, 즉 1시간 분량을 밤새 처리하는 정도입니다. 물론 빠를수록 좋겠죠. 환경에 따라 다릅니다.
  • @Farmadupe2 - 거의 모든 ML 모델은 대부분의 아키텍처에서 실행되는 참고용 Python 코드를 제공합니다. 특정 아키텍처에 최적화한 구현은 10~30달러어치 Opus 토큰을 쓰면 한 번에 만들 수 있습니다. "이 컴퓨터의 Intel NPU용 Nvidia Nemotron 3.5 Transcribe를 구현해. HF Transformers 구현을 참고해. PCM을 stdin으로 받고 UTF-8 청크를 stdout으로 내보내는 완성물을 만들어. 이 컴퓨터의 메모리 읽기 속도의 80%에 해당하는 디코딩 성능을 달성하면 끝이야."처럼 요청하면 됩니다. "Intel NPU"를 "이 컴퓨터의 대상 CPU"로 바꾸면 오래된 Intel CPU에서도 됩니다.

원문: NVIDIA / 번역·요약: Trawling