OpenBMB/VoxCPM — VoxCPM2: Tokenizer-Free TTS for Multilingual Speech Generation, Creative Voice Design, and True-to-Life Cloning
OpenBMB/VoxCPM — VoxCPM2: 토크나이저 없는 다국어 음성 생성과 음성 설계·복제
OpenBMB가 2B 매개변수 TTS 모델 VoxCPM2를 공개했습니다. 30개 언어와 자연어 기반 음성 설계, 참조 음성 복제, 48kHz 출력을 지원하며 Apache-2.0 라이선스로 배포합니다. 저장소는 RTX 4090에서 기본 구현 RTF 약 0.30, Nano-vLLM 사용 시 약 0.13을 제시합니다.
- 주제
에디터 노트
실제 배포 선택에 직접 연결되는 정보는 48kHz 출력과 여러 추론 경로, 라이선스입니다. 다만 속도 수치는 RTX 4090의 RTF이며 Apple M4 Pro의 GGUF 수치와도 실행 환경이 달라 같은 기준으로 비교할 수 없습니다. 품질표 역시 공개 벤치마크와 자체 30개 언어 평가를 구분해 읽어야 합니다. 저장소는 보이스 클로닝 결과가 실행마다 달라질 수 있다고 밝히며 사칭과 사기, 허위 정보 생성에 사용하지 말라고 명시합니다. 데이터 사용 허가나 동의 절차는 여기서 구체적으로 제시하지 않습니다.
AI 요약
OpenBMB가 토크나이저 없이 음성 표현을 직접 생성하는 다국어 Text-to-Speech(TTS) 모델 VoxCPM2를 공개했습니다. 2B 매개변수 모델이며 200만 시간 이상의 다국어 음성 데이터로 학습했다고 설명합니다. MiniCPM-4 기반으로 Apache-2.0 라이선스에 따라 코드와 가중치를 공개했습니다.
모델 구조와 생성 기능
VoxCPM은 이산 음성 토큰으로 변환하지 않고 AudioVAE V2의 잠재 공간에서 연속 음성 표현을 생성합니다. 저장소가 제시한 파이프라인은 LocEnc, TSLM, RALM, LocDiT 네 단계로 구성됩니다. 모델은 문맥에 맞는 운율과 표현을 추론하며, 30개 언어 입력을 언어 태그 없이 처리한다고 설명합니다. 지원 언어에는 한국어와 영어, 일본어, 중국어 등이 포함되고 중국어 방언도 별도로 열거합니다.
자연어로 성별, 연령, 음색, 감정, 말하기 속도 등을 지정하는 Voice Design은 참조 음성 없이 새 음성을 생성합니다. 짧은 음성 클립을 넣는 Controllable Cloning은 원래 음색을 유지하면서 감정과 속도, 표현을 지시할 수 있습니다. 참조 음성과 해당 전사문을 함께 제공하는 Ultimate Cloning은 참조 음성의 운율과 감정 등을 유지하며 이어 말하는 방식으로, VoxCPM1.5와 같은 복제 모드라고 설명합니다. 생성 설정에 따라 Voice Design과 제어형 복제 결과가 달라질 수 있어 원하는 결과를 얻기 위해 1~3회 생성하라는 안내도 있습니다.
AudioVAE V2의 비대칭 인코딩·디코딩 설계와 내장 초해상도 처리를 이용해 16kHz 참조 오디오를 입력받고 48kHz 오디오를 출력합니다. NVIDIA RTX 4090에서 기본 PyTorch 구현의 Real-Time Factor(RTF)는 약 0.30이며 Nano-vLLM 가속 시 약 0.13이라고 저장소는 제시합니다. 모델 표의 VRAM 표기는 약 8GB입니다.
설치와 배포
Python 3.10 이상 3.13 미만, PyTorch 2.5.0 이상, CUDA 12.0 이상을 요구합니다. pip install voxcpm으로 설치한 뒤 openbmb/VoxCPM2 가중치를 불러와 텍스트를 음성으로 생성하는 예제를 제공합니다. 스트리밍 생성과 배치 처리, LoRA 및 전체 파인튜닝도 지원합니다. 특정 화자나 언어, 분야에 맞춘 파인튜닝에는 5~10분 분량의 음성을 사용할 수 있다고 안내합니다.
고처리량 서비스에는 동시 요청과 비동기 API를 지원하는 Nano-vLLM-VoxCPM을 안내합니다. 공식 vLLM-Omni 통합은 PagedAttention, 연속 배치 처리, OpenAI 호환 /v1/audio/speech API를 제공한다고 설명합니다. Python 없이 배포하려면 CPU, Metal, CUDA, Vulkan을 지원하는 llama.cpp-omni 경로도 제시합니다. 이 경로의 Apple M4 Pro·Metal 성능은 Q8_0 기준 RTF 약 1.76입니다.
공개 벤치마크
저장소의 Seed-TTS-eval 표에서 VoxCPM2는 영어 WER 1.84%, SIM 75.3%, 중국어 CER 0.97%, SIM 79.5%를 기록합니다. 같은 표의 모델별 평가값은 영어와 중국어 음성 인식 오류율 및 화자 유사도를 나눠 제시합니다. CV3-eval 다국어 표에서는 한국어 오류율 5.69%와 독일어 4.77% 등을 공개했습니다. 별도의 30개 언어 내부 ASR 평가에서는 평균 오류율 1.68%라고 보고합니다. 이 평가는 Gemini 3.1 Flash Lite API로 생성 음성을 전사해 측정했다고 적혀 있습니다. 공개 벤치마크, 내부 평가, 언어별 지표는 데이터와 평가 방식이 서로 다르므로 수치를 한데 묶어 직접 순위를 매기기는 어렵습니다.
GitHub 반응
댓글이 없습니다.
원문: GitHub / 번역·요약: Trawling