사용자와 대화하지 않고 개발자 도구를 검증한 방법

AI 요약

많은 스타트업 조언은 제품을 만들기 전에 잠재 고객을 인터뷰하고, 문제가 실제로 존재하는지 확인한 뒤 개발하라고 권합니다. 그러나 저자는 이 과정을 따르지 않았고, 6주 만에 100명의 활성 사용자를 확보했습니다. 저자가 보기에 이 조언은 자신이 문제를 직접 경험하지 못한 상태에서 문제의 존재 여부를 가설로 검증해야 할 때 특히 적합합니다. 반대로 본인이 실제 사용자이고 문제를 직접 겪었다면, 검증의 질문은 “이 문제가 존재하는가”에서 “다른 사람들도 같은 문제를 겪는가”로 바뀝니다.

저자는 Claude와 디버깅하던 중 rate limit에 얼마나 가까워졌는지 알 수 없어 경고 없이 세션이 중단되는 일을 겪었습니다. 이 문제는 추상적인 가설이 아니라 당일 직접 경험한 불편이었습니다. 이후 Claude rate limit과 context window를 주제로 Reddit을 약 30분간 검색했습니다. r/ClaudeAI, r/ChatGPT, r/webdev에서 같은 문제를 호소하는 게시물을 여러 개 찾았고, “세션 도중 Claude가 아무런 경고 없이 끊겼습니다”, “제한에 얼마나 가까워졌는지 전혀 몰랐습니다”, “남은 context를 확인할 방법이 있나요?”와 같은 반응이 반복해서 나타났습니다. 저자는 친구에게 질문을 유도하거나 과장할 이유가 없는 사람들이 자발적으로 남긴 이런 반응을 ‘수동적 검증’으로 봅니다.

■ Reddit 검색과 Chrome Web Store 검색

두 번째 신호는 Chrome Web Store의 검색 결과였습니다. 저자는 코드를 한 줄도 작성하기 전에 “Claude rate limit”과 “ChatGPT token counter”를 검색했습니다. 관련 확장 프로그램은 일부 있었지만, API key가 필요하거나 한 플랫폼에서만 작동하거나, 수개월 동안 업데이트되지 않은 경우가 많았습니다. 저자는 사람들이 무엇을 찾고 있는지와 실제로 이용할 수 있는 제품 사이의 간극 자체가 검증 신호였다고 설명합니다. 좋은 해결책이 이미 있었다면 검색해서 발견하고 직접 사용했을 텐데, 그런 제품을 찾지 못했다는 점이 기회로 작용했습니다.

세 번째는 “내가 이 제품을 실제로 사용할 것인가”라는 테스트였습니다. 단순히 있으면 좋겠다는 수준이 아니라, 매일의 작업 흐름에서 진짜로 꺼내 쓸 것인지가 기준입니다. TokenPulse에 대해서는 답이 즉시 ‘그렇다’였습니다. 저자는 수개월 동안 이 문제로 불편을 겪었고, 해결 도구가 있다면 매일 사용하는 유틸리티 목록에 포함될 것이라고 판단했습니다. 다만 이 테스트는 자신을 위한 제품을 만들 때 의미가 있으며, 다른 사람의 문제를 해결하는 제품이라면 아무것도 알려주지 않는다고 선을 긋습니다.

■ 출시 후 발생한 검증 신호

저자는 진짜 검증은 출시 전이 아니라 출시 후에 일어났다고 설명합니다. 첫째 주에는 Reddit 댓글 하나를 보고 15명이 설치했습니다. 한 문장으로 확장 프로그램의 기능을 이해한 사람들이 곧바로 설치했다는 점에서 실제 수요로 해석했습니다. 둘째 주에는 “ChatGPT에서도 작동하나요?”라는 DM이 여러 건 들어왔습니다. 같은 질문이 반복된다는 것은 핵심 가치가 이해됐고, 다음으로 필요한 플랫폼 범위가 무엇인지 보여주는 제품 로드맵이라고 봤습니다.

셋째 주에는 한 사용자가 팀에 이 도구를 추천하고 있다고 이메일을 보냈습니다. 출시 3주 안에 자발적인 추천이 발생했다는 점을 강한 신호로 평가했습니다. 넷째 주에는 비용 추적 기능을 요청하는 GitHub issue가 올라왔습니다. 이 사용자는 코드를 살펴보고 아키텍처를 이해한 뒤 확장 방향까지 생각했습니다. 저자는 낯선 사용자가 이 정도로 깊게 관여하는 일은 인위적으로 만들기 어렵다고 설명합니다. 이처럼 사전 인터뷰 없이도 설치, 반복 질문, 팀 추천, 코드 기반 기능 제안이 연속적으로 나타나면서 검증이 진행됐습니다.

■ 문제를 맞혀도 해결책은 틀릴 수 있습니다

저자는 ‘먼저 만들고 나중에 검증하는’ 방식이 모든 경우에 통하는 것은 아니라고 설명합니다. 자신이 문제를 직접 겪고 있고 다른 사람들도 같은 문제를 겪는다는 증거가 있다면, 가장 큰 위험은 아무도 원하지 않는 제품을 만드는 일이 아닙니다. 실제 위험은 올바른 문제에 대해 잘못된 해결책을 만드는 것입니다.

TokenPulse의 첫 아이디어는 웹 대시보드였지만, 저자는 개발을 시작한 지 3일 만에 그 방향이 틀렸다는 사실을 알아챘습니다. 이틀 정도 작은 버전을 만들어 직접 사용해 보니, 실제 디버깅 세션 중에는 웹 대시보드를 열지 않을 것 같았습니다. 사용자 인터뷰를 했다면 “웹 대시보드는 잘못된 형식입니다”라는 결론을 이렇게 분명하게 얻지 못했을 것이라고 말합니다. 저자가 제시하는 절차는 작게 만들고, 직접 사용하고, 사용 방식에 맞춰 조정하는 것입니다. 명확하고 관찰 가능한 문제를 다루는 개발자 도구라면 이 과정 자체가 충분한 검증이 될 수 있다는 주장입니다.

■ <출처> 반응

• @Shaid — 3주간의 빌드와 Reddit 댓글 하나에서 나온 15건의 설치는 이 접근법을 설득력 있게 만들지만, 반복해서 나온 ChatGPT 요청이 더 강한 제품 신호라고 봅니다. 플랫폼별 retention을 분리해서 측정하고, 단순히 확장 프로그램이 계속 설치되어 있는지가 아니라 실제 디버깅 세션에서 사용자가 확장 프로그램을 얼마나 자주 여는지 추적하겠습니다. rate-limit 장애를 겪은 뒤 설치한 사람들과 단순한 호기심으로 설치한 사람들 사이에 차이가 있었는지 확인했나요?

• @alpi_t — 이 재구성은 맞습니다. 직접 문제를 겪고 있다면 질문은 ‘이 문제가 존재하는가’에서 ‘다른 사람도 이 문제를 갖고 있는가’로 바뀝니다. 저도 직접 운영하는 WordPress 디렉터리에서 workflow의 고통을 알고 있었기 때문에 WordPress directory plugin을 만들 때 같은 이점을 누렸습니다. 하지만 구매자도 저처럼 생각한다고 가정한 부분은 틀렸습니다. 비즈니스 디렉터리를 운영하고 싶은 사람들은 구축의 고통을 느끼는 것이 아니라 유지보수와 수익화의 고통을 느낍니다. 그래서 ‘내가 사용자였다’는 사실은 검증의 절반 정도만 해결했습니다. 100명의 가입자 수를 넘어 ‘다른 사람들도 같은 문제를 갖고 있다’는 점을 어떻게 측정하고 있나요? 사용 깊이인가요, 아니면 사람들이 당신과 같은 지점에서 막히는지인가요?

• @jamelhamlaoui — 저는 Signal 2를 더 강하게 밀어붙이겠습니다. 스토어를 검색하면 무엇이 존재하는지는 알 수 있지만, 카탈로그를 가져오면 실제로 무엇이 팔리는지 알 수 있습니다. 최근 Apify에서 이 작업을 했습니다. Apify의 스토어에는 공개 API가 있어서 검색 결과를 눈으로 훑는 대신 등록된 actor 13,214개를 모두 가져와 사용량 통계를 확인하고 수요와 경쟁을 수치로 비교했습니다. 브라우징만으로는 알 수 없었던 두 가지가 드러났습니다. actor의 중간값은 한 달에 사용자 4명이고, 상위 100개가 스토어 전체 수요의 64%를 차지했습니다. 따라서 ‘경쟁자가 몇 명 안 된다’는 사실만으로는 아무 의미가 없습니다. 카테고리 자체가 죽어 있을 수도 있습니다. 반대의 함정은 더 심각합니다. 경쟁자가 전혀 없는 틈새를 발견하고 잠시 기대했지만, 경쟁자 0명과 수요 0명은 거의 항상 함께 나타난다는 사실을 깨달았습니다. 제가 확인한 프랑스어 데이터 소스에는 도구도 없고 사용자도 없었습니다. ‘아무도 만들지 않았다’와 ‘아무도 원하지 않는다’는 외부에서 보면 똑같아 보입니다. 실제로 유용했던 신호는 당신의 Signal 2를 뒤집은 것이었습니다. 즉, 평점이 낮은 기존 도구의 높은 사용량입니다. 그것은 실제 돈이 오가고 있으며 검증 가능한 불만을 가진 사용자가 있다는 뜻입니다. 제가 선택한 틈새의 한 도구는 실행 횟수 859,000회에 평점 1.93점이었습니다. 이 두 숫자가 인터뷰보다 더 많은 것을 말해줬습니다. 그래도 당신의 핵심 주장은 여전히 중요합니다. 직접 사용자인 것이 가설을 제공하고, 스토어 데이터는 다른 사람도 비용을 지불할지 알려줍니다.

• @MichelDavi — 이것은 제 경험과 매우 비슷합니다. 저도 정식 사용자 인터뷰 없이 도구 사이트를 만들었습니다. 개발자들이 이미 모여 있는 곳인 개발자 커뮤니티와 도구 디렉터리를 검색하고, 기존 해결책에 어떤 공백이 있는지 확인하는 방식으로 검증했습니다. 당신의 글에서 특히 눈에 띈 부분은 “진짜 위험은 올바른 문제에 잘못된 해결책을 만드는 것”이라는 문장이었습니다. 이 조언은 과소평가되어 있다고 생각합니다. 실제로 빠르게 테스트하고 직접 사용해 보기보다, 대시보드나 확장 프로그램처럼 올바른 형식을 이미 알고 있다고 가정하기 쉽습니다. 4주차를 지난 지금 retention은 어떻게 보고 있나요? 사람들이 매일 돌아오고 있나요, 아니면 대부분 일회성 설치 증가였나요?

• @ryanshrott — 문제를 증명하는 일과 다른 사람들도 그 문제를 갖고 있음을 증명하는 일을 구분한 점이 맞습니다. 저는 사람들이 불평한다는 사실과, 문제를 해결하기 위해 자신의 workflow를 바꿀 것이라는 사실도 분리하겠습니다. 해당 게시물을 작성한 사람들에게 작은 작동 prototype을 공유하는 것이 설문을 하나 더 하는 것보다 많은 것을 알려줄 것입니다. DictaFlow에서는 대화가 보통 더 빠른 타이핑이 전반적으로 유용한지보다, 정확히 어느 순간에 타이핑이 무너지는지에 초점을 맞출 때 가장 유익했습니다.

TokenPulse는 Claude, ChatGPT, Gemini, DeepSeek, Grok을 지원하는 무료 Chrome 확장 프로그램으로 소개됩니다.

원문: Indie Hackers / 번역·요약: Trawling