Voyage 평가에서 Jev 앞선 임베딩 분류기, 라벨 데이터로 학습

본문

Voyage AI는 10월 27일 MongoDB 문서의 기존 값을 학습에 활용해 분류·회귀 예측기를 만드는 방법과 평가 결과를 공개했습니다. 29개 분류 과제에서 Voyage의 실험 모델 voyage-json은 평균 AUROC 88.3을 기록했고 TypeSafe AI의 Jev는 77.6을 기록했습니다. Jev는 기존 라벨 문서로 학습하지 않는 반면, Voyage 방식은 라벨이 있는 문서로 별도 예측기를 학습합니다.

Voyage 방식은 예측할 필드를 제외한 문서 전체를 JSON으로 임베딩하고, 그 값이 알려진 문서로 예측 모델을 학습합니다. 50개 과제 평가는 과제별 5,000개 문서를 사용해 분할한 뒤 원시 필드와 임베딩을 ridge regression에 넣었으며, 분류 29개와 수치 예측 21개 결과를 세 번의 분할에 걸쳐 평균했습니다. Voyage는 오차를 100에서 AUROC를 뺀 값으로 정의해 48% 감소했다고 표현했습니다. 따라서 이 비율은 실제 오분류 건수의 감소율이 아니라 AUROC 기반 지표의 상대 차이입니다.

이 평가는 Voyage가 자사 블로그에서 공개한 결과이며, 라벨이 충분한 과제에서 해당 학습 방식이 Jev보다 높은 평균 AUROC를 냈다는 점을 보여줍니다. 라벨이 거의 없거나 한 번만 수행하는 분류 작업에서는 Jev 같은 무학습 방식의 쓰임이 달라질 수 있습니다. Reddit의 @genshiryoku는 기업의 일회성 분류 작업은 학습용 분류기를 만드는 비용이 업무 가치에 비해 클 수 있어, 대량 데이터를 한 번에 분류하는 무학습 방식이 유용하다고 설명했습니다.

Reddit 반응

• @genshiryoku — 많은 기업의 분류 작업은 한 번만 수행하고 중요도도 낮아서 분류기를 학습할 이유가 없습니다. 이런 작업에서는 대량 데이터를 충분한 품질로 한 번에 분류하는 방식이 매력적입니다.

자료: Voyage AI 블로그, Reddit / 정리·해설: Trawling

참고 자료

• Introducing System One Models & Jev - TypeSafe AI Blog — https://typesafe.ai/blog/introducing-system-one-models-and-jev