[R] Taking EmbeddingGemma-2 (577M) from Rank #26 to #1 on the MAEB audio benchmark by filling its 256d null space with PCA-reduced intermediate Conformer layers (zero training) [R]
[연구] EmbeddingGemma-2(577M)의 256차원 널 공간에 PCA로 축소한 Conformer 중간층을 채워 MAEB 오디오 벤치마크 26위에서 1위로 올리기
EmbeddingGemma-2의 고정된 오디오 인코더에서 Conformer 2·6층 특징을 PCA로 줄인 뒤, 텍스트 임베딩이 쓰지 않는 256차원 공간에 더하는 학습 없는 오디오 임베딩 기법입니다. MAEB 전체 30개 작업의 매크로 점수는 49.95에서 55.09로 올랐지만, 음성 의도와 언어 관련 작업 등 일부 점수는 크게 하락했고 작성자는 테스트 점수를 보고 설정을 골랐다고 밝혔습니다.
- 주제
에디터 노트
평균 점수 상승은 오디오 특징을 보존하지 못하던 작업을 개선한 결과이며 모든 오디오 검색에 통하는 개선은 아닙니다. 특히 SIBFLEURS 점수가 57.19에서 21.30으로 떨어져 음성의 의미를 분류하는 용도에서는 같은 특징 주입이 큰 손실을 낼 수 있습니다. 사용 목적에 따라 원본 임베딩과 별도 비교가 필요합니다. 널 공간에 주입하면 텍스트 임베딩을 건드리지 않는다는 설명은 제시한 선형 투영 구조에 근거합니다. 다만 Reddit에서는 임의의 벡터도 비슷한 효과를 냈다는 경험담이 나왔고, 작성자는 직접 비교하지 않았다고 답했습니다. 따라서 PCA 특징이 개선을 만든 정도와 벡터를 더하면서 생긴 효과를 분리한 결과는 이 자료에 없습니다. 벤치마크 점수를 보며 설정을 선택했다는 점도 함께 고려하면, 1위 기록은 제시된 MAEB 설정에서의 결과로 읽는 편이 정확합니다.
AI 요약
EmbeddingGemma-2의 텍스트 임베딩은 마지막 투영 행렬 W가 만드는 512차원 부분공간에 놓입니다. 768차원 출력 중 텍스트가 사용하지 않는 직교 여공간 256차원에 오디오 특징을 넣으면 텍스트 임베딩과 텍스트 간 유사도는 바뀌지 않는다는 점을 활용합니다.
방법
기본 모델의 가중치는 그대로 둡니다. 오디오 인코더인 12층 Conformer의 2층에서 시간축 평균과 표준편차를, 6층에서 평균을 뽑아 각각 128차원으로 줄입니다. PCA 통계는 Expresso, AudioSet, Music Genres, ESC-50에서 각각 350개씩 가져온 오디오로 계산했습니다. 벤치마크 데이터는 PCA 적합에 쓰지 않았으며, 두 특징을 합쳐 256차원 단위 벡터를 만듭니다. 이 벡터를 768차원 널 공간의 기저 U에 투영해 기본 오디오 임베딩에 더한 뒤 정규화합니다. 추론 시 학습 파라미터는 없고, 고정된 추가 텐서는 2.37MB입니다. 텍스트·이미지·비디오 경로와 출력은 기본 모델과 같다고 설명합니다.
성능과 제약
MAEB 오디오 전용 19개 작업에서 54.82점으로 1위이며, 기본 모델은 47.79점으로 26위입니다. 전체 30개 작업의 원점수 매크로 평균은 기본 모델 측정치 49.95에서 55.09로 상승했습니다. 성별 군집화는 0.05에서 63.09, CREMA_D 감정 분류는 19.70에서 40.16, 음악가 검색은 55.20에서 93.82로 개선됐습니다. 반면 SIBFLEURS는 57.19에서 21.30, NMSQAPairClassification은 98.14에서 78.67, VoxCelebSA는 45.17에서 35.40으로 하락했습니다. 음성 의도 분류 MInDS14도 97.63에서 88.34로 낮아졌습니다.
텍스트-오디오 검색 영향은 별도로 측정한 Google SVQ에서 작았습니다. A2T hit rate@5는 0.94002에서 0.94061로, T2A는 0.91263에서 0.91260으로 바뀌었습니다. 작성자는 MAEB 설정의 모드와 감마 값을 소규모 설정 탐색 과정에서 테스트 점수를 보고 선택했으므로 결과가 낙관적일 수 있다고 명시합니다. 각 작업은 한 번 측정했으며, 오디오 임베딩은 768차원을 모두 써야 합니다. 따라서 512·256·128차원으로 자르는 Matryoshka 사용은 지원하지 않습니다.
Reddit 반응
- @ddofer — 다른 벤치마크에서는 어떤가요? 임의의 벡터를 더하는 방법과도 비교했나요?
- @JeanMichelRanu — MAEB는 이미 오디오 임베딩 벤치마크를 상당히 폭넓게 다룹니다. Hugging Face 모델 카드에서 작업별 세부 정보를 볼 수 있습니다. 비교해 보지는 않았지만 임의의 벡터가 벤치마크에서 이 정도로 정확도를 높일 수는 없다고 강하게 생각합니다.
- @ddofer — 확인해 보세요. 텍스트 영역에서 비슷한 아이디어를 써봤는데 임의의 벡터도 비슷한 결과를 냈습니다.
- @Playful-Fee-4318 — 매핑이 차원을 512에서 768로 늘리기 때문에 Wx의 널 공간 차원이 256이라고 확실히 알 수 있는 건가요? 선형대수학을 공부한 지 오래됐네요.