Hightouch, Jev·Opus로 가상 프로필 과병합 판정…기본 시험서 Opus 단독보다 비용 77% 낮춰
Hightouch는 pseudopeople이 만든 가상 기록에서 Jev의 신뢰도 30~90%인 프로필을 Claude Opus 5.5에 보내 과병합을 판정하는 조합을 시험했습니다. 기본 시험에서 Opus 단독과 정확도는 99.0% 대 98.8%, 프로필 1,000건당 비용은 3.86달러 대 0.88달러였습니다. 더 어려운 시험에서는 정확도 95.1% 대 95.3%, 비용 5.39달러 대 2.94달러를 기록했습니다.
Hightouch의 Albert Jin, Neil Desai, Delaney Mackenzie는 2026년 11월 4일 신원 해소 결과에서 서로 다른 사람의 기록이 한 프로필로 합쳐지는 과병합을 언어 모델이 판별할 수 있는지 시험한 결과를 공개했습니다. 이들은 Jev의 신뢰도 점수로 재검토할 사례를 골라 Claude Opus 5.5에 보내는 조합을 시험했습니다. 기본 시험에서 이 구성은 Opus 단독과 비슷한 정확도를 내면서 프로필 1,000건당 비용을 3.86달러에서 0.88달러로 낮췄습니다. 더 까다로운 시험에서는 비용 차이가 5.39달러 대 2.94달러로 줄었습니다.
신원 해소(identity resolution)는 이름, 이메일, 주소처럼 여러 곳에 흩어진 기록을 실제 사람별로 묶는 작업입니다. 사람은 이사하거나 기록에 오타가 생길 수 있어, 서로 다른 기록이 같은 사람을 가리키는지 판단하기 어렵습니다. 반대로 서로 다른 사람의 기록을 한 프로필로 합치는 과병합도 생깁니다. 이번 평가의 대상은 기록을 처음부터 묶는 신원 해소 시스템이 아니라, 이미 한 프로필로 묶인 기록을 보고 실제 몇 사람을 가리키는지 판정하는 모델입니다.
Hightouch는 실제 데이터에서 병합 결과를 대조할 정답표를 구하기 어려워 신원 해소의 정확도를 평가하기 힘들다고 설명합니다. 이 회사는 프로필 표본을 뽑아 사람이 직접 검토하는 방식을 소개하면서, 사람의 검토 속도는 시간당 약 50개 identity라고 썼습니다. 드문 과병합 비율을 ±1% 오차 이내로 추정하려면 1,000개가 넘는 표본이 필요하다는 설명도 덧붙였습니다. Hightouch는 이러한 수작업 평가를 언어 모델로 보완할 수 있는지 살폈습니다.
시험 자료는 워싱턴대 보건계량평가연구소(IHME)의 도구 pseudopeople로 만들었습니다. 이 도구는 가상의 미국 도시 주민 기록을 생성하며, Hightouch는 여기에 오타와 누락 같은 데이터 오류를 더했습니다. 자료는 인구조사, 가구 조사, 복지 프로그램, 사회보장 및 세금 기록 등을 바탕으로 2020~2040년을 다룹니다. Hightouch는 프로필 1,000개를 구성해 절반은 한 사람의 기록에 오류가 섞인 사례로, 나머지 절반은 여러 사람의 기록이 합쳐진 과병합 사례로 만들었습니다. 모델에는 각 프로필이 몇 사람을 가리키는지 답하게 하고, 과병합이라고 판정한 경우 근거가 된 값을 설명하게 했습니다.
Jev와 GPT-6 Luna는 특정 판단에 대한 신뢰도 점수를 내는 결정 모델입니다. Hightouch는 Jev가 먼저 프로필을 판정한 뒤 신뢰도 점수가 30~90%인 사례를 Claude Opus 5.5에 보내 다시 평가하는 구성을 시험했습니다. 기본 자료에서는 전체 프로필의 22%가 Opus에 전달됐습니다. 이 방식의 핵심은 Jev가 단독으로 Opus보다 정확한지보다, 신뢰도 점수가 오답을 얼마나 잘 가려내는지였습니다. Hightouch는 Jev의 오답이 대체로 신뢰도 50% 부근에 모인 반면, Luna는 틀린 사례에도 높은 신뢰도를 내는 경우가 많았다고 보고했습니다. 자신 없는 사례를 고르는 데 Jev의 점수가 더 유용했다는 설명입니다.
기본 시험에서 Jev와 Opus를 조합한 구성은 정확도 98.8%, 프로필 1,000건당 비용 0.88달러를 기록했습니다. Claude Opus 5.5 단독 구성은 정확도 99.0%, 같은 수의 판정에 3.86달러가 들었습니다. 따라서 Jev 조합의 비용은 Opus 단독의 약 23%였습니다. 이 시험에서 Jev 단독의 정확도는 95.7%였습니다. 낮은 신뢰도의 사례만 Opus에 넘기는 방식이 Jev 단독보다 정확도를 높이면서 Opus 단독에 가까운 결과를 낸 셈입니다.
Hightouch는 이어 핵심 정보의 오타나 이름이 비슷한 사람들의 기록이 합쳐진 경우처럼 까다로운 사례를 모아 시험했습니다. Jev의 신뢰도 30~90% 구간을 Opus에 보내는 구성은 정확도 95.3%, 프로필 1,000건당 2.94달러였습니다. Opus 단독은 정확도 95.1%, 5.39달러였습니다. 같은 라우팅 구간을 쓴 Jev 조합의 비용은 이 시험에서 Opus 단독의 약 55%로, 기본 시험보다 비용 차이가 작았습니다. Hightouch는 별도의 프롬프트나 라우팅 변경 없이 어려운 자료에서 Jev 조합의 지출이 늘어난 점을, 재검토가 필요한 사례에 더 많은 비용을 배정하는 특성으로 설명했습니다.
비용을 더 낮춘 Luna 조합은 신뢰도 10~90%인 사례를 Opus에 보냈습니다. 이 구성은 어려운 시험에서 정확도 91.6%, 1,000건당 1.15달러를 기록했습니다. Jev 조합과 Opus에 넘긴 신뢰도 구간이 다르므로 두 결과에는 모델뿐 아니라 각 라우팅 설정의 차이도 반영돼 있습니다. 이번 결과는 pseudopeople이 생성한 가상 기록에서 이미 묶인 프로필의 과병합을 판정한 실험입니다. Hightouch는 비용과 지연시간을 자체 설정에서 관측했으며 실행 환경에 따라 달라질 수 있다고 밝혔습니다.