제품 포지셔닝을 완전히 다시 생각하게 한 숫자

AI 요약

AI 역량 평가 서비스 AISA는 약 1,900건의 평가 결과를 분석한 뒤 제품의 포지셔닝을 바꿨습니다. 이용자가 스스로 매긴 AI 역량 자신감과 과제 기반 평가 점수의 상관계수는 0.07~0.24였습니다. AI 역량을 10점 만점에 8점이라고 평가한 사람도 과제 평가에서 100점 만점에 50점 미만을 받는 경우가 잦았습니다. 전체 평균은 48점이었고, 67%는 ‘능숙함(Proficient)’ 기준에 미달했습니다.

교육 도구에서 역량 측정 도구로

처음에는 팀의 AI 역량을 높이는 학습 도구를 만들려 했습니다. 하지만 창업팀은 실제 가치가 자기 평가와 측정 결과 사이의 격차에 있다고 판단했습니다. 조직이 직원들의 AI 역량을 파악하지 못하며, 자기 평가만으로는 이를 제대로 측정하기 어렵다는 설명입니다.

EU AI Act 제4조는 AI 시스템을 배포하는 조직에 ‘충분한 AI 리터러시’를 요구합니다. AISA가 관련 컴플라이언스 체크리스트를 공개하자, 제4조의 요구 수준을 측정할 방법이 없다는 컴플라이언스 팀들이 연락해 왔습니다. 이에 따라 ‘팀 역량을 높이세요’라는 메시지를 ‘보이지 않는 역량 격차를 측정하세요’로 바꿨습니다. 제품은 그대로 두고 구매자가 해결하려는 문제를 바꾼 셈입니다.

Indie Hackers 반응

• @qname — 격차가 두드러집니다. 직무별 점수나 실제 업무에서 AI를 얼마나 자주 쓰는지에 따라 결과를 나눠 보셨나요? 회사 전체 평균만 보면 더 많은 지원이 필요한 팀이 가려질 수 있습니다. 그런 세부 구분이 구매자에게 가장 유용한 보고서 내용일지도 모릅니다.
• @invoicesnap — 규제나 외부에서 나온 명확한 수치가 같은 제품의 의미를 하룻밤 사이에 바꿀 수 있습니다. 새 기능보다 구매자가 어떤 결정을 내려야 하는지가 전환율을 바꾸는 경우가 많습니다. ‘팀 교육’은 교육 예산을 요청하지만, ‘보이지 않는 역량을 측정한다’는 말은 컴플라이언스 담당자가 격차의 근거로 제출할 자료를 요청하게 합니다. 평가는 같아도 구매자가 묻는 질문이 달라집니다. 새 메시지를 시험한다면 제안과 함께 제시할 근거를 준비하겠습니다. 자신감과 점수의 격차를 보여주는 차트에 ‘이 수치가 제4조의 AI 리터러시 요구사항에 어떤 의미인지’를 설명하는 한 페이지를 붙이면, 단순한 문구 교체가 아니라 근거에 기반한 재포지셔닝으로 보일 겁니다. — Cameron M Deans
• @linglistack — 표본이 약 1,900명이면 상관계수의 표준오차는 약 0.023입니다. 따라서 0.07은 실제 신호이지만 약한 신호입니다. 제곱하면 자기 평가가 과제 점수 변동의 1%도 설명하지 못한다는 뜻입니다. 자기 평가는 거의 정보를 담지 않는다고 표현하는 편이 더 분명합니다. 다만 표본은 자발적으로 참여한 사람들로 구성됐습니다. AI 역량 테스트에 참여하는 사람들은 이미 AI에 관심이 높은 편일 수 있으므로, 전체 노동시장에서는 격차가 더 클 가능성이 있습니다.
• @niteshnagpal — 낮은 상관관계는 흔한 AI 교육 제안보다 더 분명한 이야깃거리입니다. 문제를 겪는 사람도 달라집니다. 평가를 구매하는 사람은 개인 퀴즈 점수보다 팀 전체의 격차를 알고 싶을 수 있습니다. 체크리스트를 본 컴플라이언스 팀은 평가 결과를 어떤 구체적인 의사결정에 활용하려 했나요?
• @James_UtilitySEO — 상관계수 0.07은 충격적이지만 놀랍지는 않습니다. SEO에서도 비슷한 격차를 봅니다. 사이트 운영자는 최적화가 꽤 잘됐다고 평가하지만, 객관적인 검사에서는 몰랐던 문제가 예순 개나 일흔 개씩 나옵니다. 피드백이 느리거나 눈에 보이지 않는 분야라면 자신감과 실제 역량 사이의 격차가 생깁니다. ‘팀 역량을 높이세요’에서 ‘보이지 않는 역량을 측정하세요’로 바꾼 건 정확한 선택입니다. 행동 변화를 요구하기 전에 근거를 만들어 주기 때문입니다. 저희도 비슷하게 바꿨습니다. ‘SEO를 개선하세요’ 대신 ‘30초 만에 실제 문제를 무료로 찾아보세요’를 앞세웠고, 전환율이 바로 달라졌습니다. EU AI Act는 인디 제품 대부분에 없는 규제 수요를 만들어 줍니다. 컴플라이언스 팀에는 이미 예산 항목과 마감일이 있습니다. 영업팀 없이도 기업 시장에 들어갈 틈새가 될 수 있습니다.
• @Ek_ansh99 — 처음 해결하려 했던 문제보다 새로 발견한 문제가 더 가치 있을 수 있다는 좋은 사례입니다. ‘사람들의 역량 향상’에서 ‘조직이 격차를 측정하도록 돕기’로 바꾸면서 구매자와 긴급성이 모두 달라졌습니다. 이제 컴플라이언스 팀을 어떻게 찾아 접촉하는지도 궁금합니다.
• @sniper8192 — 평가 기준 자체가 제품이 되는 전형적인 사례입니다. 과제 기반 질문은 누구나 만들 수 있어 평가 도구만으로는 차별화하기 어렵습니다. 하지만 1,900건의 평가 점수로 만든 규준표는 다른 곳에 없는 자산이며, 실제 경쟁력이 될 수 있습니다. 제4조를 내세울 때 한 가지 주의할 점이 있습니다. 컴플라이언스 구매자는 학습 구매자와 다른 일정에 따라 움직입니다. 예산은 법무팀에 있고, 결정은 위험 관리에 좌우됩니다. 연례 재평가나 신규 입사자 선별처럼 반복되는 요구와 연결하지 않으면 일회성 감사로 끝날 수 있습니다. ‘제4조 준수 증거는 12개월 후 만료됩니다’처럼 재평가를 기본 절차로 만들면, 규제가 단순한 포지셔닝을 넘어 고객 유지 수단이 됩니다.
• @mohith808 — 데이터가 포지셔닝을 결정하도록 한 좋은 사례입니다. 사람들이 말하는 것과 실제로 할 수 있는 것의 격차는 자기 보고식 설문에서 흔히 나타납니다. 그래서 과제 기반 측정이나 구체적인 사례를 묻는 후속 질문이 더 유용합니다. EU AI Act를 진입점으로 삼은 것도 좋습니다.
• @Mythex — 상관계수 0.07~0.24는 강력한 메시지이고, ‘보이지 않는 역량을 측정하세요’는 ‘팀 역량을 높이세요’보다 약속이 분명합니다. 기존 메시지가 어려웠던 이유도 설명해 줍니다. 자신에게 격차가 있다고 믿지 않으면 교육을 구매하지 않습니다. 제4조와 관련해서 두 가지 생각이 있습니다. 컴플라이언스 담당자는 보관할 증거가 필요합니다. 날짜, 방법, 점수 분포가 담긴 팀별 보고서를 감사 자료 폴더에 바로 넣을 수 있다면, 개인 점수보다 가치가 클 겁니다. 내부에 전달하기도 쉬워 영업 자료로 쓸 수 있습니다. 재평가는 고객 유지로 이어질 수 있습니다. 격차가 가치라면 3개월 뒤 두 번째 평가에서 격차가 줄어든 모습을 보여주는 일이 계약 갱신을 이끕니다. 제품 계획에서는 전후 비교 화면을 먼저 만들겠습니다. 한 가지 궁금합니다. 같은 사람이 두 번째로 응시할 때 과제 기반 테스트의 유효성을 어떻게 유지하나요? 과제를 기억하면 갱신 때 보이는 향상에 기억 효과가 섞일 수 있습니다.
• @nitish_peeka — 상관계수 0.07~0.24는 제품 메시지로 쓰기에 강한 수치입니다. ‘보이지 않는 역량을 측정하세요’가 더 잘 전환되는 것도 이해가 됩니다. 저희도 테스터들이 앱이 괜찮다고 말해 놓고 다시 열지 않는 모습을 보며, 사람들이 말하는 것과 행동이 거의 일치하지 않는다는 작은 사례를 경험했습니다. 컴플라이언스 메시지를 도입한 뒤 가격도 바뀌었나요, 아니면 주로 홍보 문구가 달라졌나요?
• @bestusukiptv — 좋은 글입니다. 공유해 주셔서 감사합니다. 다음으로는 무엇을 시도할 계획인가요?

원문: Indie Hackers / 번역·요약: Trawling