Tencent, 음성 생성·편집 파운데이션 모델 AuK 오픈소스 공개 — MIT 라이선스

본문

Tencent가 음성 생성과 편집을 하나의 자연어 명령 인터페이스로 통합한 1.5B 파운데이션 모델 AuK를 공개했습니다. 수백만 시간 규모의 다양한 오디오 데이터로 학습되었으며, 모델 가중치와 코드가 모두 공개되고 MIT 라이선스가 적용되어 상업적 활용에도 제약이 적은 편입니다. Hugging Face와 ModelScope 양쪽에서 가중치와 데모 Space를 제공하며, 공개 한 달 만에 다운로드 3,000회 이상을 기록했습니다.

하나의 명령 인터페이스로 통합된 14가지 음성 태스크

AuK의 핵심 특징은 모든 태스크를 동일한 자연어 명령 방식으로 호출한다는 점입니다. 지원 범위는 크게 네 가지 범주로 나뉩니다. 음성 생성 범주에는 레퍼런스 오디오의 목소리로 텍스트를 읽어주는 Zero-shot TTS와, 레퍼런스 없이 목소리 설명만으로 음성을 만드는 Instruct TTS가 있습니다. 콘텐츠 편집 범주에는 발화 내용의 단어를 바꾸거나 삽입·삭제하는 Speech Content Editing과, 멜로디와 목소리를 유지한 채 노래 가사를 다시 쓰는 Lyric Editing이 포함됩니다.

어쿠스틱 편집 범주에서는 반음 단위의 피치 조정, 속도 조절(속도 계수에 따라 출력 길이가 비례해 변함), 데시벨 단위 볼륨 조정을 지원합니다. 비언어적(Paralinguistic) 편집은 AuK가 차별화되는 영역으로, 내용과 목소리를 유지한 채 감정을 바꾸는 Emotion 편집, 음색 변경, 지역 억양 제거(De-accent), 숨소리·웃음·기침 같은 비언어 소리의 추가·제거, 일반 발화와 속삭임 간 변환까지 명령어로 처리합니다. 마지막으로 향상·분리 범주에는 노이즈 제거와 잔향 제거를 포함한 Speech Enhancement, 발화 순서 기반 화자 분리, 믹스에서 보컬만 추출하는 Music Separation, 특정 발화 내용으로 목표 화자를 추출하는 Target Speaker Extraction이 있습니다.

아키텍처와 배포 구성

모델은 Base 모델과 4-step 추론용 증류 모델 AuK-Flash 두 가지로 배포됩니다. 체크포인트에는 Diffusion Transformer와 layer-fusion 가중치가 포함되며, MLLM 인코더(Qwen2.5-Omni-3B)와 VAE는 런타임에 별도 파일에서 로드됩니다. 따라서 체크포인트 로딩 시 text_encoder 관련 키가 없다는 메시지가 뜨는 것은 정상 동작입니다. 설치·추론·Gradio·ComfyUI·파인튜닝 절차는 GitHub README와 Cookbook에 정리되어 있고, Cookbook에는 각 태스크별 명령 템플릿과 CLI·Python 예제가 제공됩니다. SGLang Omni 팀이 Day 0 서빙을 지원해 python -m sglang_omni.cli serve --model-path tencent/AuK 한 줄로 서버를 띄울 수 있습니다.

시사점

그동안 TTS, 음성 편집, 소스 분리는 각각 별도 모델과 파이프라인이 필요한 영역이었는데, AuK는 이를 1.5B라는 비교적 작은 단일 모델로 통합했다는 점에서 주목할 만합니다. 특히 속삭임 변환, 억양 제거, 가사 편집 같은 세밀한 편집 태스크를 자연어 명령으로 노출한 점은 오디오 콘텐츠 제작 도구나 접근성 기능을 만드는 개발자에게 실용적입니다. 기술 보고서는 arXiv에 공개되어 있으며, 한국어 음성 데이터에 대한 Zero-shot 성능이나 파인튜닝 요구사항은 직접 검증이 필요합니다.

원문: Hugging Face / 번역·요약: Trawling