YuE2 — 심볼릭 계획과 제로샷 커버, 에이전트 편집을 지원하는 오픈소스 음악 생성 모델

본문

음악 생성 분야에서 오픈소스 모델과 상용 서비스의 격차가 좁혀지고 있습니다. multimodal-art-projection 팀이 공개한 YuE2는 기존 YuE의 후속으로, 가사와 스타일 프롬프트만 입력하면 멜로디와 화성으로 이루어진 작곡 계획을 먼저 작성하고, 이를 보컬과 반주가 포함된 완성곡으로 실현하는 모델입니다. 단순히 오디오를 한 번에 뽑아내는 방식이 아니라, 생성 전에 악보(score) 단계를 명시적으로 거치기 때문에 사람이든 에이전트든 작곡 의도를 검사하고 수정할 수 있다는 점이 핵심 차별점입니다.

심볼릭 계획 기반의 화이트박스 생성

YuE2의 생성 파이프라인은 AR–NAR Mixture-of-Transformers 백본 하나로 구성됩니다. 이 백본이 악보와 시맨틱 토큰을 자기회귀적으로 예측한 뒤, 플로우 매칭(flow matching)으로 어쿠스틱 잠재(latents)를 생성하고, VAE 디코더가 이를 스테레오 오디오로 디코딩합니다. 생성(covering·editing 포함)의 차이는 악보가 어디서 오는가일 뿐입니다. 새로 작곡할 때는 YuE2가 계획을 쓰고, 커버할 때는 녹음에서 전사된 악보를, 편집할 때는 수정된 악보를 사용합니다. Python API는 plan() → generate_semantic() → synthesize() → decode() 순으로 단계가 나뉘어 있어 각 단계의 산출물을 저장하고 재사용할 수 있습니다.

cot 옵션으로 계획 수준을 제어합니다. cot="full"은 편집 가능한 멜로디·화성 계획을 만드는 신곡용 기본값이고, cot="melody"는 멜로디만 고정하고 반주를 자유롭게 생성해 커버에 권장되며, cot="off"는 가사와 스타일에서 바로 생성합니다. abc 인자에 사용자가 작성한 악보를 직접 넣을 수도 있습니다.

제로샷 커버와 에이전트 편집

커버 기능은 별도 파인튜닝 없이 동일한 체크포인트로 동작합니다. SheetSage2로 원곡 녹음을 전사해 멜로디 ABC 악보를 얻은 뒤, 새 가사나 목표 스타일을 지정하면 됩니다. 948개 작품 평가에서 풀스코어 조건의 YuE2가 CLEWS mAP 0.647을 기록해 악보 없는 조건의 0.006과 큰 차이를 보였습니다. 원곡 정체성 보존과 목표 스타일 품질은 별도로 측정되며, 멜로디만 조건으로 주면 편곡의 자유도가 더 높아집니다.

편집은 plan()으로 계획을보낸 뒤 score.abc를 수정해 다시 입력하는 방식입니다. 화성, 멜로디, 템포, 형식을 바꾸면 새로운 완성 녹음이 생성되며, 편집 범위 밖의 원본 파형은 보존되지 않습니다. 리포지토리에는 에이전트용 yue2-music 스킬(SKILL.md 패키지)도 포함되어 있어, SKILL.md를 지원하는 에이전트가 곡 생성·전사·커버·악보 편집·청취 비교까지 수행할 수 있습니다. 데모에서는 한 곡을 9단계·14개 버전으로 만다린 팝에서 색소폰 솔로가 있는 영어 재즈로 바꾸는 대화형 편집 과정을 보여줍니다.

벤치마크와 품질 주장

192개 프롬프트로 구성된 WildSongBench 자동 평가(2026년 9월 12일)에서 YuE2 best-of-8이 SongBench Avg 6.9632로 평가된 17개 설정 중 가장 높은 평균을 기록했습니다. Suno v5는 6.8721, Suno v6는 6.5562였습니다. 다만 팀 자체적으로도 상위 평균 간 차이가 작아 통계적 유의성이 확립되지 않았다고 명시하고 있으며, 공개 청취 연구(Music Arena)를 통해 익명 클립에 대한 A/B 투표를 모으고 있습니다. 함께 공개된 MERT2는 MARBLE 15개 지표 중 14개에서 SOTA, SheetSage2는 13개 전사 벤치마크 지표 중 10개에서 SOTA를 주장합니다.

요구 사항과 라이선스

실행에는 Linux, Python 3.12, BF16을 지원하는 24GB VRAM의 NVIDIA GPU가 필요하며, 양자화 없이 48kHz 스테레오를 출력합니다. 모델 가중치는 Hugging Face에서 첫 실행 시 다운로드됩니다(m-a-p/YuE2-3B). 코드와 문서는 Apache 2.0이지만 가중치는 CC BY-NC 4.0에 추가 크리에이터 허가 조항이 붙는 점에 주의해야 합니다. 개인 사용자·콘텐츠 크리에이터·음악가는 생성물을 수익화할 수 있고 로열티가 없으나, 기업의 상용 사용은 별도 상용 라이선스 협의가 필요합니다.

원문: GitHub / 번역·요약: Trawling