엔비디아 음성 모델, 40개 언어 지원하지만 기능·품질은 언어별로 다르다

본문

엔비디아는 음성 전사·번역·화자 구분과 오디오 질의응답을 처리하는 오픈 가중치 모델 Nemotron 3.5 Transcribe를 공개했습니다. 최대 1시간 녹음을 처리하고 한국어를 포함한 40개 언어를 지원한다고 안내하지만, 모든 언어에서 같은 기능과 품질을 제공하지는 않습니다.

언어별로 다른 기능 범위

지원표에서 한국어는 전사, 영어와의 양방향 번역, 다중 화자 전사, 언어 혼용 음성 처리 모두 지원하며 품질 등급은 'Leading'입니다. 반면 일본어는 네 기능을 지원하지만 'Production-ready' 등급이고, 터키어는 전사와 언어 혼용은 지원해도 영어 번역과 다중 화자 전사는 표에 없습니다. 'Supported' 등급은 파인튜닝이 필요할 수 있다고 엔비디아는 설명합니다. 노르웨이어는 품질 등급이 'Supported'로 표시됐지만 네 기능 모두 지원표에 체크가 없습니다.

40개 언어 지원은 주로 전사와 번역에 관한 표기입니다. 오디오 이해와 추론, 음성 지시 수행은 영어로만 평가됐으며 다른 언어에서 안정적으로 작동한다는 근거는 제시되지 않았습니다. 또 지원표의 언어 수만으로 모든 언어에서 같은 수준의 성능을 기대하기 어렵습니다.

오프라인 처리와 실행 조건

모델은 인터넷에 연결하지 않고 녹음 파일을 처리하는 오프라인 방식입니다. 내부에서 음성을 30초 단위로 나눠 처리하지만, 이는 긴 파일 처리를 위한 구조로 실시간 스트리밍이나 낮은 지연을 보장하지 않습니다. 1시간 녹음까지 학습했다고 안내하며, 그보다 긴 입력의 일반화는 보장하지 않는다고 설명합니다.

총 파라미터는 34B이고 오디오 인코더를 포함해 한 번에 활성화되는 파라미터는 약 4.3B입니다. BF16, FP8, NVFP4 가중치를 제공하며, 모델 페이지의 기본 vLLM 실행 예시는 H100 80GB 한 장을 기준으로 합니다. 호환 표에는 A100 80GB, H100, RTX PRO 6000 Blackwell 등도 포함되지만 GPU마다 지원 정밀도와 실행 환경이 다릅니다.

엔비디아는 자사 평가에서 영어 공개 음성인식 벤치마크 9종의 평균 WER을 4.71%, 7개 언어 벤치마크의 평균을 4.62%로 제시했습니다. 이 수치는 각기 다른 시험 데이터와 정규화 조건을 사용하므로 모델 페이지의 다른 벤치마크 수치와 직접 비교할 수 없습니다. 상용·비상용 이용 준비를 표방하지만 적용되는 라이선스는 OpenMDW-1.1입니다.

자료: Hugging Face / 정리·해설: Trawling