Voicebox — 음성 복제·받아쓰기·에이전트 음성 출력을 하나로 묶은 오픈소스 로컬 AI 보이스 스튜디오

본문

GitHub에 오른 jamiepine/voicebox는 '로컬 우선(local-first) AI 보이스 스튜디오'를 표방하는 오픈소스 프로젝트입니다. 몇 초 분량의 오디오만으로 음성을 복제하고, 23개 언어로 음성을 생성하며, 전역 핫키로 어떤 앱의 텍스트 필드에든 받아쓰기를 하고, MCP를 지원하는 AI 에이전트에 사용자가 소유한 목소리를 입혀주는 '음성 I/O 풀스택'을 지향합니다. 저자는 클라우드 선두 주자들이 음성 입출력 루프의 반쪽씩만 차지하고 있다고 지적합니다 — ElevenLabs는 출력(합성), WisprFlow는 입력(받아쓰기) — Voicebox는 양쪽을 모두 수행하고 번들된 로컬 LLM으로 이를 연결하며, 전부 사용자의 머신에서 동작합니다. MIT 라이선스이고 모델·음성 데이터·녹음이 외부로 나가지 않는 완전한 프라이버시를 강조합니다.

7개 TTS 엔진과 음성 복제

엔진별 강점이 다르며 생성 단위로 전환할 수 있습니다. Qwen3-TTS(0.6B/1.7B)는 10개 언어에서 고품질 다국어 복제와 '천천히 말해', '속삭여' 같은 자연어 전달 지시를 지원하고, Qwen CustomVoice는 참조 오디오 없이 자연어 전달 제어가 가능한 9개 프리셋 보이스를 제공합니다. LuxTTS는 약 1GB VRAM의 경량 영어 엔진으로 CPU에서 실시간의 150배 속도를 내며, Chatterbox Multilingual은 아랍어·힌디어·스와힐리어 등 23개 언어로 가장 넓은 커버리지를 가집니다. Chatterbox Turbo는 [laugh], [sigh], [gasp] 같은 비언어적(paralinguistic) 태그를 해석하는 350M 고속 영어 모델이고 — 다른 엔진들은 이 태그를 문자 그대로 읽습니다 — HumeAI의 TADA(1B/3B)는 700초 이상의 일관된 오디오를 생성하는 speech-language 모델, Kokoro는 82M의 초소형 모델로 50개 프리셋 보이스와 빠른 CPU 추론을 제공합니다. 음성 복제는 참조 샘플 기반 제로샷 방식이며, 프로필은 오디오 파일 또는 앱 내 녹음으로 만들고 다중 샘플·가져오기/보내기·프로필별 기본 이펙트 체인을 지원합니다.

후처리·장문 생성·스토리 편집

Spotify의 pedalboard 라이브러리 기반 이펙트 8종(피치 시프트, 리버브, 딜레이, 코러스/플랜저, 컴프레서, 게인, 하이패스/로우패스 필터)을 생성 후 실시간 미리듣기로 적용할 수 있고, Robotic·Radio·Echo Chamber·Deep Voice 등 내장 프리셋 4개와 커스텀 프리셋을 지원합니다. 장문은 문장 경계에서 자동 청킹(100~5,000자 설정 가능) 후 크로스페이드(0~200ms)로 이어 붙여 최대 50,000자까지 처리하며, 약어·CJK 구두점·태그를 인식해 분할합니다. 생성은 논블로킹 큐로 직렬 실행되어 GPU 경합을 막고 SSE로 상태를 스트리밍하며, 버전 관리(원본 보존, 이펙트 버전, 시드 재생성 'take', 계보 추적, 즐겨찾기)를 갖춥니다. 대화·팟캐스트·내러티브용으로 멀티트랙 타임라인 'Stories' 편집기도 포함됩니다.

받아쓰기와 에이전트 음성 출력

입력 쪽은 Whisper(Mac은 MLX, 그 외 PyTorch) 기반이며 Base~Large와 Large 대비 약 8배 빠른 Turbo를 선택할 수 있습니다. 전역 핫키는 hold-to-speak와 tap-to-toggle을 모두 지원하고, macOS에서는 접근성 검증을 거친 자동 붙여넣기가 클립보드를 원자적으로 저장·복원해 덮어쓰지 않습니다. 모든 녹음·업로드는 'Captures' 탭에 원본+전사로 보존되어 재전사·정제·보이스 프로필 재생·참조 샘플 승격이 가능합니다.

출력 쪽의 핵심은 내장 MCP 서버입니다. Claude Code·Cursor·Windsurf·Cline 등 MCP-aware 에이전트가 voicebox.speak 한 번의 툴 호출로 복제된 목소리로 말하며, personality: true를 넘기면 프로필의 페르소나 LLM(로컬 Qwen3 0.6B/1.7B/4B)을 거쳐 캐릭터 톤으로 재작성한 뒤 합성합니다. MCP가 안 되는 환경용으로 POST /speak REST 엔드포인트와 stdio 바이너리도 제공되고, 클라이언트별 보이스 바인딩(Claude Code는 Morgan, Cursor는 Scarlett 식)과 모든 음성 출력을 표시하는 OS 오버레이 'pill'이 들어갑니다. 툴은 speak·transcribe·list_captures·list_profiles 4개입니다.

기술 스택·플랫폼·로드맵

Electron이 아닌 Tauri(Rust) 데스크톱 앱에 React/TypeScript/Tailwind 프런트엔드, FastAPI(Python) 백엔드, SQLite, 추론은 Apple Silicon의 MLX와 CUDA/ROCm/DirectML/Intel Arc(IPEX)/CPU의 PyTorch로 구성됩니다. macOS(Apple Silicon·Intel) DMG, Windows MSI, Docker를 배포하고 Linux는 소스 빌드입니다. 로드맵에는 Windows/Linux 자동 붙여넣기, Parakeet v3·Qwen3-ASR 등 STT 확장, 스트리밍 전사, Moshi·GLM-4-Voice 같은 종단간 speech LLM, 텍스트 설명으로 새 목소리를 만드는 Voice Design, 플러그인 아키텍처가 올라 있습니다.

원문: GitHub / 번역·요약: Trawling