THE UNHEARD: 밖에서 소리를 모으고, 기계가 배운 내용을 검증하는 게임
THE UNHEARD는 실제 소리를 녹음해 분류하고, 사용자가 붙인 이름을 검색 메모리에 쌓아 작곡까지 이어가는 로컬 우선 게임입니다. 학습하지 않는 CLAP, 검색 메모리, Gemma를 분리하고 검증 수치를 공개했습니다.
AI 모델과 서비스, 활용 도구와 이용 조건을 다룹니다.
THE UNHEARD는 실제 소리를 녹음해 분류하고, 사용자가 붙인 이름을 검색 메모리에 쌓아 작곡까지 이어가는 로컬 우선 게임입니다. 학습하지 않는 CLAP, 검색 메모리, Gemma를 분리하고 검증 수치를 공개했습니다.
개발자는 음악가 친구의 영상 게시 업무를 줄이려고 자체 호스팅 Gemma 4 기반 도구 Soundboard를 만들었습니다. 오디오·영상 분석으로 YouTube와 Bandcamp용 문안을 작성하고, 편집 기록을 다음 초안에 반영하며, 승인된 영상은 비공개 업로드한 뒤 YouTube API로 확인합니다.
Krisp는 브라우저에서 비트를 만들고 편집하는 음악 작업 도구입니다. 스윙과 연주 미세 타이밍을 보존하는 스케줄러, 브라우저에서 실행하는 Magenta.js 모델, 같은 오디오 엔진을 쓰는 WAV 내보내기가 특징입니다. 사운드 생성과 하이브리드 검색에는 ElevenLabs와 Tiger Data를 연결했습니다.
Miso는 audio.cpp 위에서 동작하는 셀프 호스팅 음악 생성·리믹스 스튜디오입니다. 생성 결과뿐 아니라 프롬프트, 가사, 스템, MIDI, 점수와 작업 계보를 저장하며, 곡 일부를 다시 만들거나 보컬을 교체하고 멜로디를 새 편곡으로 옮길 수 있습니다.
YuE2-3B에 포함되지 않은 오디오→시맨틱 토큰 인코더와 실제 녹음에 맞춘 NAR 디코더 LoRA를 제공하는 Hugging Face 저장소입니다. 자체 녹음 토큰화, 아티스트별 AR LoRA 학습, 음악 생성과 커버 제작을 지원하며 v4부터 v9까지의 학습 방식과 평가 수치도 함께 공개합니다.