테스터 10명 중 거의 아무도 다음 날 돌아오지 않았습니다 — 온보딩을 고칠까요, 테스터를 더 모을까요?

AI 요약

17세 공동창업자 두 명은 냉장고 사진이나 장보기 영수증 한 장으로, 현재 가진 재료를 활용한 요리를 추천하는 iOS 앱을 만들었습니다. 첫 테스트에는 10명이 참여했지만 다음 날 앱을 다시 연 사람은 거의 없었습니다. 창업자들은 첫 실행에서 앱이 작동하는 모습을 보여주기 전에 사용 모드를 고르게 하고, 실제 보유 재료로 만들 수 없는 요리도 목록에 표시하는 점을 문제로 봤습니다. 앱의 가치를 첫 세션에서 증명하지 못했다는 판단입니다.

창업자들은 먼저 활성화(activation) 경험을 고칠지, 테스터를 더 모아 원인을 확인할지 논의했습니다. 선택한 방안은 첫 실행 흐름을 손보고 이벤트 측정을 준비한 다음, 친구가 아닌 사용자 20~30명을 대상으로 다시 테스트하는 것입니다. 첫 코호트에는 이벤트 추적을 설정하지 않아, 참여자들의 기억과 스크린샷을 바탕으로 당시 행동을 되짚어야 했다고 밝혔습니다.

다음 코호트에서 확인할 행동

창업자는 첫 화면의 모드 선택을 없애고 냉장고 모드로 시작하게 하며, 보유 재료만으로 만들 수 있는 요리만 노출하고 첫 실행을 세 화면으로 줄일 계획입니다. 측정할 흐름도 재방문율 하나로 뭉뚱그리지 않습니다. 앱을 연 뒤 ‘요리 가능한 레시피’를 처음 보여주는 시점, 요리를 시작한 시점, 저장하거나 완료한 시점을 각각 기록합니다. 첫 실행부터 첫 요리 가능 레시피까지 걸린 시간도 남깁니다.

이렇게 하면 사용자가 레시피를 보기 전에 이탈했는지, 레시피를 봤지만 열지 않았는지, 실제 행동까지 했는지 나눠 살필 수 있습니다. 창업자는 요리 가능한 레시피를 본 사람과 보지 못한 사람의 재방문을 비교하려 합니다. 두 집단의 행동이 비슷하다면 활성화보다 사용 빈도나 제품 수요가 문제일 수 있다고 봅니다. 냉장고 재료가 줄어드는 주기에 맞춰 쓰는 앱이라면 2일 차 재방문이 적다는 사실만으로 제품 실패를 단정하기 어렵고, 1주 동안 두 번 이상 스캔하는지가 더 맞는 지표일 수도 있다고 덧붙였습니다.

작은 표본을 읽는 방법

댓글에서는 테스터 10명으로는 유지율을 신뢰할 만한 수치로 측정하기 어렵다는 지적이 이어졌습니다. 대신 참여자에게 직접 물어 마찰이 생긴 지점을 찾고, 다음 코호트에서는 사전에 정한 행동 이벤트를 기록하라는 의견입니다. 한 댓글 작성자는 자신의 서비스에서 가입자 4명 중 3명이 첫 설정을 마쳤지만 돌아오지 않았다고 설명했습니다. 첫 실행이 아니라, 다음 날 보여줄 새 데이터나 다시 방문할 이유가 없었던 점이 문제였다고 합니다. 따라서 ‘첫 실행 완료’와 ‘재방문’을 따로 기록해야 한다고 제안했습니다.

또 다른 댓글은 첫 실행을 통과한 뒤에도 재방문이 없다면, 활성화 문제로 단정하지 말고 다음 날 열어볼 이유가 있는지 살펴야 한다고 했습니다. 창업자는 첫 코호트 참여자에게 다시 물었을 때 모드 선택과 사진 촬영은 언급했지만 레시피를 본 기억은 나오지 않았다고 답했습니다. 다만 이벤트 기록이 없어 실제로 요리 가능한 레시피를 보여줬는지는 확인할 수 없다고 인정했습니다. 재료 감지가 틀렸을 때 사용자가 해당 재료를 한 번 눌러 신고하는 기능도 검토하겠다고 밝혔습니다.

Indie Hackers 반응

• @anilsayar — 먼저 전제를 확인하고 첫 화면을 다시 설계해야 한다고 봅니다. 저도 이번 주에 비슷한 상황을 측정했는데, 처음 생각과 데이터가 달랐습니다. 가입자 4명 중 3명은 사이트 추가, 스니펫 설치, 첫 점검까지 마쳤으니 활성화가 문제는 아니었습니다. 아무도 돌아오지 않은 이유는 첫 실행 뒤에 할 일이 없었기 때문입니다. 무료 요금제에는 반복 작업이 없었고, 첫 연락인 주간 요약도 6일 뒤에 이미 본 수치를 다시 보여줬습니다. UI를 손대기 전에 ‘첫 실행 완료’와 ‘재방문’을 각각 기록하세요. 10명이라면 돌아오지 않은 7명에게 물어보는 편이 낫습니다. 그 규모로는 통계적으로 깔끔한 답을 얻기 어렵고, 떠난 사람의 한마디가 퍼널 차트보다 낫습니다.
• @saasnm — 활성화를 먼저 고치세요. 거의 아무도 2일 차에 돌아오지 않는다면 테스터를 더 모아도 비슷한 신호만 늘어날 가능성이 큽니다. 사용자가 어디서 이탈하는지 알아내고, 제품의 핵심 가치를 최대한 빨리 보여주세요. 몇 명이라도 ‘아하’ 순간에 꾸준히 도달하면 그다음에 테스터를 늘려 개선이 더 큰 규모에서도 이어지는지 확인하면 됩니다.
• @marketotter — 테스트를 한 이유가 바로 그런 점을 알아내기 위해서입니다. 고쳐야 할 부분을 배웠다면 다음 테스트 전에 고치세요. 이미 아는 결함을 다시 확인하려고 사람을 더 모을 필요는 없습니다.
  • @Nitish Nattudurai — 그건 제가 선택한 방향에 반대하는 가장 강한 주장입니다. 그래도 첫 10명은 모두 제 주변 사람이어서, 제대로 된 테스트라기보다 친구들이 예의를 차린 것일 수 있습니다. 모드 선택이 문제라는 점은 확실히 알아서 고치겠지만, 그 수정이 효과가 있는지는 아직 모릅니다. 표본이 작고 편향됐으니 첫 실행이 잘못된 건지, 제품을 원하는 사람이 없는 건지 구분하기 어렵습니다. 그래서 제품 수정과 이벤트 측정을 먼저 하고, 친구가 아닌 사람 20~30명을 테스트하려 합니다. 그 뒤에도 2일 차 재방문이 없다면 온보딩 탓을 그만하고 수요를 의심하겠습니다.
• @itsaDOERthing — 테스터 10명은 물어보기에는 충분하지만 측정하기에는 부족합니다. 열 명 모두에게 메시지를 보내 2일 차에 무슨 일이 있었는지 물어보세요. 제 경우 2일 차 행동을 바꾼 것은 제품 수정이 아니라 한 사람이 먼저 인사를 건넨 일이었습니다.
  • @Nitish Nattudurai — 저도 바로 그렇게 물어보기 시작했고, 아직 없는 대시보드보다 낫다는 데 동의합니다. 지금까지 불만이나 버그 제보는 없었고, 물어보면 모두 친절하게 답했습니다. 두 사람은 질문하지 않았는데도 모드 선택 화면을 언급했습니다. 코호트 1에는 앱 링크만 보내고 다른 연락을 하지 않았습니다. 코호트 2에서는 대화에 직접 참여하겠습니다. 이벤트는 어떻게 이탈했는지 보여주고, 열 명의 솔직한 답은 왜 그랬는지 알려주니 둘 다 필요합니다.
• @aryan_sinh — 코호트 2에서 활성화 문제와 앱을 자주 쓸 필요가 없는 상황을 어떻게 구분할 계획인가요?
  • @Nitish Nattudurai — 코호트가 아니라 첫 세션에서 요리 가능한 레시피를 본 적이 있는지를 기준으로 7일 차 재방문을 나눠 보려 합니다. 활성화가 문제라면 레시피에 도달한 사람의 재방문율이 훨씬 높고, 그 전 단계에서 이탈이 몰릴 겁니다. 사용 빈도 문제라면 두 집단이 비슷하게 보이고, 냉장고 재료가 줄었을 때만 돌아올 수 있습니다. 대부분 가정은 매일이 아니라 4~5일마다 그럴 수 있습니다. 2일 차 재방문 자체가 잘못된 지표일 가능성도 있습니다. 1주 안에 두 번 이상 스캔하는 비율이 괜찮고 2일 차 재방문만 낮다면, 사용자 행동과 맞지 않는 지표를 골랐다고 봐야 합니다.

원문: Indie Hackers / 번역·요약: Trawling