30개 시장을 스캔해 3,430개 후보 중 93개만 남겼습니다 — 2.7%가 가르쳐 준 것

본문

저자는 시장 조사와 스타트업 아이디어 후보를 자동으로 수집·평가하는 도구(Whittle)를 운영하며, 30개 시장을 대상으로 한 번의 대규모 실행에서 3,430개 후보를 생성하고 최종적으로 93개(2.7%)만을 선별했습니다. 이 글은 그 결과보다도, 그 과정에서 기대와 달랐던 점들을 기록한 회고입니다.

수집은 싸고, 평가가 전부다

저자는 처음에 '더 넓게 쓸어 모으면 같은 종류의 결과가 더 많이 나올 것이고, 진짜 일은 남은 것을 잘 판별하는 것'이라고 예상했습니다. 그러나 실제로는 수집(sweep) 단계가 가장 저렴한 부분이었고, 시스템이 제대로 작동하는지 아니면 스스로를 그럴듯하게 속이는지는 전적으로 평가 단계에서 결정됐습니다. 생성형 도구에서 흔한 함정 — 무언가를 반드시 출력해 주는 시스템 — 을 정면으로 지적합니다.

아무것도 반환하지 않는 시장이야말로 정상 작동

저자가 '사전에 믿지 못했을 결과'로 꼽는 것은, 후보를 하나도 반환하지 않은 시장들이 오히려 시스템이 제대로 동작하고 있다는 증거였다는 점입니다. 어떤 풀은 실제로 얇아서(thin) 정직한 출력은 '파이널리스트가 적거나 없음'이어야 합니다. 항상 무언가를 반환하는 생성기는 관대한 것이 아니라 쓸모없는 것이라고 저자는 단언합니다. recall을 높이려다 precision과 정직성을 잃는 평가 시스템 설계의 고전적 문제를 실무 관점에서 다룹니다.

점수는 측정이 아니라 정렬이다

저자가 이제 자기 제품 안에서 불신하게 된 숫자는 바로 점수(score)입니다. 산술 자체는 고정돼 있고 재현 가능하지만, 그 밑에 깔린 평가(ratings)는 샘플링 기반이라 실행할 때마다 같은 아이디어가 몇 점씩 움직일 수 있습니다. 즉 점수는 후보들을 정렬해 줄 뿐, 후보를 측정하지는 않습니다. 저자는 점수가 절대적 측정치인 것처럼 암시하던 제품 문구를 직접 지웠다고 밝힙니다. LLM 기반 평가의 run-to-run 분산을 '정밀한 숫자'로 포장하지 않겠다는 태도는, AI 제품의 지표를 설계하는 개발자에게 시사하는 바가 있습니다.

복리로 쌓이는 것 — 근거 라벨링

실행이 인용하는 모든 문제(problem)는 해당 문제가 발견된 원문 페이지와 함께 저장됩니다. 공개된 실행에는 문서화된 문제 56개가 실려 있고, 그중 32개는 실제로 열어 볼 수 있는 링크가 있으며, 나머지는 '우리의 추정'이라고 명시적으로 라벨링돼 있습니다. 저자는 이 라벨링이야말로 앞의 숫자들(2.7%, 93개)이 의미를 갖게 하는 유일한 이유라고 말합니다. 추정치를 근거로 슬쩍 승격시키지 않는 규율이 제품 신뢰도의 기반이라는 것입니다. 실행 결과는 공개돼 있으며 상세한 글은 whittleos.com/guides/startup-ideas에서 확인할 수 있습니다.

Indie Hackers 반응

• @GregoryScottHenson — 투자 쪽에서 비슷한 funnel을 운영하는데, 아무도 추적하지 않는 숫자가 false negative 비율입니다. 2.7% 통과율은 측정하기 쉽습니다. 나머지 3,337개를 걸러 내는 데 든 비용은 그렇지 않고, 그게 바로 필터가 실제로 보정돼 있는지 알려 주는 숫자입니다. 탈락시킨 후보들을 나중에 다른 누가 만들어서 성공했는지 확인할 수 있을 만큼 오래 보관해 두시나요?
• @onlinejobs_media — 라벨링 규율(인용 56개 중 링크는 32개뿐, 나머지는 추정으로 표기)이야말로 진짜 제품입니다. 대부분의 도구라면 56개 전부를 출처로 표기하고 그 차이를 신경 쓰지 않았을 겁니다.

원문: Indie Hackers / 번역·요약: Trawling