AI 비서 4종에 구매자 질문 24개를 했지만 앱은 한 번도 언급되지 않았습니다

AI 요약

강아지 배변 일정 앱 Puppy Routine의 운영자는 Google 검색 유입이 주를 이루지만 이용자가 ChatGPT형 비서에도 질문한다고 보고, AI 검색 결과에서 앱이 발견되는지 확인했습니다. 정보성 질문 세 가지를 GPT-5 mini, Perplexity Sonar, Gemini 2.5 Flash, Claude Haiku 4.5에 각각 두 번씩 웹 검색 API로 물어 총 24개 답변을 분석했습니다.

실험 결과

Puppy Routine은 24개 답변에서 한 번도 언급되지 않았고 사이트 인용도 없었습니다. 작성자가 제시한 언급률의 95% 범위는 0~14%입니다. 경쟁 앱 역시 이름이 나오지 않았습니다. 대신 akc.org가 18개 답변, petmd.com이 15개, purina.com이 12개 답변에 인용됐고 chewy, Reddit, rover도 출처로 등장했습니다.

기술 설정에는 눈에 띄는 문제가 없었습니다. 페이지에 noindex가 없고, OAI-SearchBot·PerplexityBot·Claude 크롤러 접근을 허용했으며, 사이트맵에 포함되고 Google에도 색인됐습니다. 작성자는 정보성 질문에 AI 비서가 제품을 추천하기보다 권위 있는 정보 사이트를 요약한다고 봤습니다. 따라서 다른 앱보다 검색 순위를 높이는 일보다 AI 답변이 인용하는 사이트에 소개되는 일이 더 중요할 수 있다고 설명합니다.

다음 실험 계획

인용된 페이지에는 8주령부터 16주령까지 주별 배변 일정처럼 질문에 바로 답하는 구체적인 정보가 있었지만, Puppy Routine 페이지에는 이런 내용이 없었습니다. 작성자는 답변 엔진이 인용할 만한 내용을 페이지에 담아야 한다고 봅니다. 한 번의 측정은 변동성이 크므로 같은 질문과 모델 패널을 유지하고, 페이지를 바꾼 뒤 결과를 비교할 계획입니다. 실험용 스크립트는 Citelane이라는 작은 도구로 만들었으며, 무료 진단과 AI 크롤러 접근 검사기도 공개했습니다.

Indie Hackers 반응

• @zephos — 경쟁 앱도 언급되지 않았다는 점에서 0/24는 유용한 기준선입니다. 바꾸지 않을 출처 페이지 질문을 작은 대조군으로 두고, 정확히 인용된 URL과 각 콘텐츠 수정 사항을 기록하겠습니다. 그러면 콘텐츠 효과와 검색 결과 변동을 구분할 수 있습니다. 정보성 질문과 ‘최고의 도구’ 또는 비교 질문을 나눠 추천이 시작되는 지점도 확인해 보셨나요?
• @thefirst9 — ‘언급’과 ‘인용’을 따로 세고 같은 질문 패널을 반복한 점이 유용한 기준선입니다. 바꾸지 않을 출처 페이지 질문을 대조군으로 두고 수정한 페이지마다 변경 기록을 남기겠습니다. 표본이 24개뿐일 때 콘텐츠 효과와 모델 또는 색인 변동을 구분하는 데 도움이 됩니다.
• @hayeslive — 같은 질문 패널을 반복하는 방식은 좋은 실험 습관입니다. 작은 정보 제품이라면 인용된 권위 있는 페이지를 배포 경로로 보겠습니다. 그 페이지가 답하는 세부 질문을 뽑고, 같은 표현으로 답하는 짧은 페이지나 체크리스트를 만든 뒤 ‘누구에게 맞고 누구에게 맞지 않는지’를 명확히 적겠습니다. 제품 CTA는 답변 뒤에 두겠습니다. 2주 동안 비서 언급과 추천 유입 클릭을 따로 추적하면, 인용할 만큼 유용하지 않은 경우와 유용하지만 발견되지 않는 경우를 구분할 수 있습니다.
• @AlexCreator — 저희도 자체 제품으로 거의 같은 테스트를 시작했습니다. 매달 같은 질문을 같은 방식으로 묻고 있어서 아직 0에서 언급으로 바뀌었다고 말할 수는 없습니다. 다만 두 가지가 생각을 바꿨습니다. akc.org 결과는 시작 전에 읽은 연구와 맞았습니다. 사용법 질문에서 비서는 구체적인 사실을 페이지 위쪽에 출처와 함께 적은 페이지를 인용하는 경향이 있었습니다. 새 글을 쓰기 전에 기존 페이지에서 가장 먼저 나오는 구체적인 수치가 어디 있는지 확인했습니다. 대부분 페이지에서 본문 앞부분에 이미 수치가 있어 페이지를 다시 쓰는 일을 멈추고 다른 사이트에 소개되는 데 힘을 썼습니다. Google은 llms.txt를 사용하지 않는다고 공개적으로 말했으므로, 저희는 이를 저렴한 추가 조치로만 보고 해결책으로 여기지 않습니다. 같은 질문 패널을 반복하는 데도 동의합니다. 한 번의 결과는 대부분 잡음입니다.
• @George_Reda — 멋진 프로젝트입니다. 잘되기를 바랍니다.
• @James_UtilitySEO — 공개하자면 저는 AEO 도구를 만들고 있으며, 저희 사이트도 AI 인용이 0건이라 이 분야에 관심이 많습니다. 결과에서 가장 유용한 부분은 인용된 출처 목록입니다. 실제 목표는 자체 페이지보다 그 출처 목록입니다. 답변이 akc, petmd, purina, chewy, Reddit, rover에서 만들어졌으니, 그중 어디에 들어갈 수 있는지가 질문입니다. AKC는 어렵지만 Reddit은 가능합니다. 진심으로 도움이 되는 답변에 앱을 공개하고 언급하는 일이 맞는 인용 스레드라면, 비서가 이미 신뢰하는 출처 집합에 들어갈 수 있습니다. 도메인뿐 아니라 정확한 URL도 기록해 어떤 스레드인지 확인하세요. 방법상 한 가지 주의할 점은 웹 검색을 쓰는 API 모델이 실제 소비자 앱과 다르게 답할 수 있다는 것입니다. ChatGPT 앱에서도 몇 가지 질문을 확인해 보겠습니다. 어떤 Reddit 스레드가 인용됐나요?
  • @Jack — 여기서 가장 실행하기 좋은 의견입니다. 정확한 URL을 확인했더니 Reddit 인용은 모두 r/puppy101 스레드였습니다. 8주령 일정, 배변 훈련 일정, 나이별 방광 조절을 다룬 다섯 스레드가 각각 24개 답변 중 두 번씩 인용됐습니다. AKC보다 현실적인 목표이며, 앱을 공개한 채 실제로 유용한 답변을 남기는 방식도 대부분의 스레드에 맞습니다. 방법상 주의점에도 동의합니다. 이번 결과는 모두 웹 검색을 쓰는 API에서 나왔고 그 점을 밝혔습니다. 같은 세 질문을 ChatGPT 앱에서도 확인한 뒤 결과를 과하게 해석하지 않겠습니다.
• @omri_ben_shoham — 경쟁 앱도 나오지 않은 0/24는 성공 기준을 바꿔야 한다는 점을 보여주는 좋은 기준선입니다. 잘못된 결과를 측정하고 있을 수 있습니다. 정보성 질문에서 비서가 제품을 추천하지 않는다면, 언급으로 이어지지 않는 현상은 작성자만의 문제가 아니라 구조적인 현상일 수 있습니다. 실제로 움직일 수 있는 부분은 정보 사이트 인용입니다. 반복 질문 실험을 활용해 권위 있는 정보를 추가한 뒤 인용이 먼저 바뀌는지 확인해 보세요.
• @takehomelab — 경쟁 앱이 하나도 언급되지 않았다는 점이 특히 흥미로운 기준선입니다. 다음 측정은 (1) 정보성 질문, (2) ‘최고의 도구나 앱’ 비교 질문, (3) 나이나 예산 같은 조건이 있는 질문으로 나누겠습니다. 언급과 인용뿐 아니라 인용된 페이지가 해당 조건에 실제로 답하는지도 기록하겠습니다. 그러면 병목이 권위, 정보 범위, 검색 표현 중 어디에 있는지 드러날 수 있습니다. 콘텐츠 수정마다 간단한 전후 변경 기록을 남기면 반복 패널이 단일 점수보다 훨씬 쓸모 있어집니다.
• @john_forsythe — 경쟁 앱도 언급되지 않은 0/24라는 점이 전략을 바꿉니다. 비서가 경쟁 제품을 추천했다면 제품 간 비교 콘텐츠의 공백을 채우면 됐을 것입니다. 하지만 정보성 질문에서 제품 자체를 추천하지 않으니, 제품 언급을 직접 노리기보다 정보 사이트 인용을 노리는 편이 중요할 수 있습니다. 반복 질문 실험으로 인용이 먼저 바뀌는지 시험할 수 있습니다. 24개 질문을 순수 정보성 질문과 구매에 가까운 표현으로 나눠 추천 행동이 다른지 확인하셨나요?
  • @Jack — 아직 나누지 않았습니다. 놓친 부분이 맞습니다. 질문 세 개가 모두 순수 정보성이어서 제품이 전혀 나오지 않았을 수 있습니다. 다음 측정에서는 해당 페이지를 바꾸지 않고 기존 질문 세 개를 대조군으로 유지하겠습니다. 그리고 ‘강아지 배변 훈련에 가장 좋은 앱’이나 ‘앱과 종이 일정표 비교’처럼 구매에 가까운 표현을 추가하겠습니다. 제품이 그런 질문에서만 나오면 그쪽 페이지에 집중하겠습니다. @zephos가 제안한 대로 정확한 인용 URL과 수정 날짜도 모두 기록하겠습니다.
• @Bullpicks — 발견 여부와 인용 여부를 나누고 여러 모델에 같은 질문을 반복한 점이 유용한 기준선입니다. 콘텐츠를 수정할 때마다 기록을 남기고 똑같은 질문 패널을 다시 실행하면, 표현 수정이 검색에 영향을 줬는지 모델 변동이었는지 구분할 수 있습니다. 정보성 답변과 제품 추천을 구분하는 일도 중요한 퍼널 차이로 보입니다.
• @pakpanel — 가장 유용한 부분은 직접 전후 비교를 설계했다는 점입니다. 많은 사람이 이런 검사를 한 번 하고 여러 가지를 바꿔서 무엇이 효과가 있었는지 끝내 알지 못합니다. 같은 질문 패널에서 나온 0/24 기준선이 실험을 가치 있게 만듭니다. 앱 언급 여부뿐 아니라 질문별로 어떤 정보 사이트가 인용되는지도 시간에 따라 추적하겠습니다. 주별 일정을 자사 사이트에 올린 뒤 akc.org 대신 인용되기 시작한다면, 추천으로 이어지기 전의 중간 신호가 됩니다.
• @linglistack — 0~14% 범위와 경쟁 앱도 언급되지 않았다는 점, 이 두 수치가 가장 중요합니다. 둘을 함께 보면 정보성 질문에서는 해당 범주 자체를 추천하지 않는다는 뜻일 수 있습니다. ‘앱 언급’을 목표로 삼으면 모두에게 계속 0에 가까울 수 있습니다. 정보성 콘텐츠가 인용되는 편이 달성 가능한 목표일 수 있으며, 개입 방법과 측정 방식도 달라집니다. 전후 비교에도 주의가 필요합니다. 같은 질문을 다시 묻는 건 좋은 접근이지만 모델 업데이트와 검색 색인은 계속 변합니다. 이후 결과가 0/24에서 3/24로 바뀌어도 두 범위는 크게 겹치므로, 전후 한 번씩만으로 변경이 효과를 냈다고 볼 수 없습니다. 콘텐츠를 바꾸지 않은 질문 패널을 병렬 대조군으로 두면 배경 변동과 실제 효과를 구분할 수 있습니다.
• @aryan_sinh — 0/24 기준선은 명확하지만 언급만으로 이 채널의 가치를 판단하기는 어려울 수 있습니다. AI 유입 방문자가 앱을 쓰거나 설치하는지도 추적하고 있나요?
  • @Jack — 타당한 질문입니다. 아직은 추적하지 않습니다. 언급이 0건이라 전환할 유입도 없으므로, 현재 언급은 선행 지표일 뿐입니다. 랜딩 페이지에서 chatgpt.com, perplexity.ai, gemini 유입을 따로 표시하고 Google 자연 검색 유입과 설치율을 비교할 계획입니다. AI 유입의 전환율이 검색보다 높지 않다면 이 채널을 더 추구하지 않을 좋은 이유가 됩니다. 결과는 어느 쪽이든 공유하겠습니다.

원문: Indie Hackers / 번역·요약: Trawling