Steam 게임 추천 서비스를 출시한 지 2주, 솔직한 지표

AI 요약

Playfeed는 좋아하는 Steam 게임이나 원하는 분위기를 입력하면 비슷한 게임을 찾아주는 서비스입니다. 창업자가 혼자 만들었고 약 4만 개 게임을 다룹니다. 9월 20일 출시 후 첫 2주간의 지표와 추천 품질 개선 과정을 공개했습니다.

실제 방문자와 유입 경로

초기 방문자 수에는 봇이 대거 섞여 있었습니다. 페이지를 정상적으로 불러온 방문자만 집계하자 수치가 기존의 약 5분의 1로 떨어졌습니다. Reddit의 게임 추천 커뮤니티에 올린 글은 저녁 한 차례에 가입자 5명을 데려왔습니다. 사람들이 이미 다음에 할 게임을 묻는 곳에서 서비스를 소개한 결과입니다. Bluesky에서는 서비스 소개 글이 재게시되며 가입자를 만들었지만, Steam 신규 출시 게임 목록을 올린 글은 거의 반응이 없었습니다. X의 효과도 지금까지는 미미했습니다.

Google 검색 노출은 조금씩 늘고 있습니다. 최근 7일간 노출은 979회였고, 2주 전에는 하루 약 37회였습니다. 검색어 대부분이 ‘특정 게임과 비슷한 게임’ 형태라서, 창업자는 게임별 추천 페이지에 집중하고 있습니다. 클릭은 아직 하루 몇 건에 그치지만 게시물을 올리지 않아도 유입이 생기는 경로입니다. 4만 개 게임마다 페이지가 있지만 Google에는 리뷰가 많은 5,000개 게임만 알렸습니다. 검색량 자료가 없어 리뷰 수를 관심도의 대리 지표로 삼았고, 내용이 빈약한 페이지가 사이트 전체 평가에 악영향을 주는 상황도 피하려는 선택입니다.

봇 트래픽 판별과 서비스 지표

창업자는 Caddy 웹 서버의 접근 로그를 살펴 실제 방문과 스크래핑을 구분했습니다. 브라우저가 페이지 HTML만 요청하고 스크립트·스타일 파일이나 페이지 동작에 필요한 요청을 보내지 않으면 봇으로 분류했습니다. 정상 브라우저를 흉내 내는 요청은 브라우저 서명과 알려진 크롤러 여부를 추가로 확인했습니다. 한 날에는 방문자라고 집계한 138개 주소 중 121개가 Alibaba Cloud와 Tencent Cloud 서버였고, 스크립트 요청은 하나도 없었습니다. Meta 크롤러는 Chrome 서명을 쓰면서 페이지도 실행해 첫 기준을 통과했기 때문에 Caddy에서 주소 대역을 차단하되 링크 미리보기 요청은 허용했습니다. 사이트를 느리게 만들 정도로 페이지를 읽던 Amazonbot과 SEO 크롤러도 막았습니다. 본인 접속은 필터링하고, 개인정보 보호 중심 분석 스크립트 수치는 하한으로, 서버 로그는 상한으로 봅니다. 광고 차단기가 분석 스크립트를 막으므로 실제 인원은 둘 사이에 있다고 설명합니다.

초기 계정 16개 가운데 5개는 다른 날 다시 방문했고, 한 사용자는 11일에 걸쳐 서비스를 이용했습니다. 창업자가 가장 신뢰하는 지표는 재방문, Steam으로 이어지는 클릭, 방문당 검색 횟수 순입니다. 검색만 하고 결과를 누르지 않는다면 유입보다 추천 목록이 문제일 수 있고, 한 번 검색한 뒤 다른 게임도 찾아본다면 결과를 더 신뢰한다는 신호로 봅니다. 방문자 수는 봇이 섞이기 쉬워 가장 조심해서 살펴봅니다. 출시일 방문자의 3분의 2가 여러 페이지를 넘겨 봤고, 한 명은 55페이지를 확인했습니다.

태그에서 실제 플레이 감각으로

초기 추천은 기존 모델에서 시작해 Steam 게임 데이터로 미세 조정한 모델을 만들었습니다. 두 목록을 가린 채 비교한 테스트에서 새 모델은 57회 이기고 20회 졌습니다. 창업자는 태그가 비슷한 게임보다 실제 플레이 방식이 닮은 게임을 찾는 데 도움이 됐다고 설명합니다. 다만 Returnal을 검색했을 때 Steam 태그가 겹치는 서바이버 게임이 줄줄이 나왔습니다. 태그가 같아도 게임의 느낌은 다를 수 있다는 문제였습니다.

자연어 설명 검색에서도 태그 누락을 부정으로 처리하는 문제가 발견됐습니다. Triangle Strategy는 실제로 아이소메트릭 시점이지만 Steam에 해당 태그가 없습니다. 기존 검색은 태그가 없다는 이유로 이 조건을 맞지 않는다고 판단했습니다. 태그 누락을 ‘아니오’가 아니라 ‘알 수 없음’으로 바꾸자 ‘오픈 월드 판타지 RPG’ 검색에서 Skyrim 순위가 28위에서 2위로 올랐습니다. 플레이 감각 문제를 줄이려고 Steam 리뷰를 직접 읽고 빠름, 긴장감, 편안함, 높은 난도 같은 특성을 파악하는 작업도 시작했습니다. 작성자는 리뷰가 1,000개 이상인 약 6,200개 게임의 리뷰를 읽었으며, 초기 테스트에서는 Deep Rock Galactic 추천에 Left 4 Dead 2와 Darktide가 나타났습니다. 변경에 따라 일부 추천은 나빠질 수 있어 적용 전 계속 테스트하고 있습니다.

수익과 신뢰

현재 수익은 없습니다. 게임 스토어 제휴 프로그램 두 곳에 신청했지만 모두 거절당했고, 한 곳은 월 방문자 1만 명을 조건으로 내걸었습니다. 추천 목록에서 서버가 2021년에 종료된 온라인 게임 두 개를 발견한 일도 있었습니다. Steam 상점 페이지가 계속 남아 있어 데이터만으로는 서버 종료 사실을 알기 어려웠고, 창업자는 해당 게임을 목록에서 뺐습니다. 가격은 하루 두 번 갱신하고 신규 게임과 변경 사항은 매일 반영하지만, 서버 종료처럼 Steam 데이터에 흔적이 남지 않는 문제는 자동 갱신으로 잡기 어렵습니다. ‘마지막 확인’ 날짜와 오류 제보 링크를 추가하는 방안을 고려하고 있습니다.

Product Hunt 출시에는 메일링 리스트도 팔로워도 없었고, 업보트를 부탁하지도 않았습니다. Bluesky 팔로워는 7명이었습니다. 결과는 방문자 약 12명, 가입자 0명, 당일 순위 약 102위였습니다. 그래도 방문자 가운데 3분의 2가 여러 페이지를 살펴봤습니다. 현재 계정 16개와 며칠 간격으로 돌아오는 사용자, Discord 봇, 조금씩 늘어나는 Google 유입이 있지만 아직 사업 단계는 아니라고 말합니다.

Indie Hackers 반응

• @vixie — 봇 트래픽을 고백한 부분이 글에서 가장 유용합니다. 여기 읽는 사람들 분석 수치도 5배 부풀려져 있을 텐데, 그걸 빼는 사람은 거의 없습니다. 자연어 분위기 검색은 태그 시스템보다 정말 나은 검색어입니다. 그 검색이 한 세션 안에서 두 번째 검색으로 이어지는지 지켜보세요. 이어진다면 그게 제품이고, 비슷한 게임 찾기는 온보딩일 뿐입니다.
  • @Levente Nagy — 감사합니다. 수치가 부풀려진 걸 알았을 때 묘한 기분이 들었습니다. 보기 좋은 숫자를 자세히 살펴본 뒤였으니까요. 봇 유입은 계속됩니다. 최근 24시간 동안 필터가 실제 방문자 19명에 비해 봇 요청 1만 건 이상을 잡았습니다. 빠르게 확인하려면 방문자가 스크립트와 스타일 파일을 불러왔는지 보세요. 대부분의 봇은 페이지를 받아 가고 그대로 떠납니다.
• @driveforce — Steam 관련 도구나 게임 발견 서비스를 만드는 초기 개발자는 성과를 어떻게 측정하나요? 출시 후 몇 주 동안 웹사이트 방문자, 검색 횟수, 재방문자, Steam 이동 클릭, 전환 중 무엇을 가장 유용하게 보나요? 제품 개선이나 전략 변경, 타깃 변경을 결정할 때 도움이 된 초기 지표도 궁금합니다.
  • @Levente Nagy — 출시 2주 시점에 제가 믿는 순서는 이렇습니다. 재방문자가 가장 중요합니다. 첫 계정 16개 중 5개가 다른 날 돌아왔고, 한 명은 서로 다른 11일에 이용했습니다. 서비스가 실제로 쓸모 있는지 이보다 분명하게 알려주는 지표는 없습니다. 그다음은 Steam 클릭입니다. 검색은 호기심을 보여줄 뿐이고, 결과 클릭은 추천 목록이 행동으로 이어질 만큼 괜찮았다는 뜻입니다. 방문당 검색 횟수도 봅니다. 첫 검색 뒤 두세 번째 게임을 찾으면 결과를 조금씩 신뢰한다는 신호입니다. 한 번 검색하고 떠나면 첫 결과 페이지를 개선해야 합니다. 방문자 수는 가장 마지막에 봅니다. 봇을 걸러내기 전에는 수치가 다섯 배나 부풀었습니다. 채널별로 방문자 수만 비교하기보다, 들어온 뒤 사람들이 무엇을 했는지 비교하는 게 방향을 정하는 데 가장 도움 됐습니다. ‘다음에 무슨 게임을 할까’라고 이미 묻고 있는 사람들에게 답했을 때 방문자는 출시 글보다 적었지만 가입과 재방문은 훨씬 많았습니다.
• @davidnez — 초기 방문자가 대부분 봇이었다는 이야기를 보고 제 분석도 확인해야겠다고 생각했습니다. 실제 방문자와 스크래퍼를 어떻게 구분했나요? JavaScript를 실행하고 페이지를 제대로 불러왔는지만 확인했나요? 이미 질문이 올라온 Reddit에서 답하는 편이 제품을 홍보하는 것보다 낫다는 지적도 좋습니다.
  • @Levente Nagy — 제 경우 처음 수치는 약 다섯 배 부풀어 있었습니다. Caddy 접근 로그를 포함해 모두 자체 서버 로그로 확인했습니다. 실제 브라우저는 스크립트와 스타일 파일을 받고 페이지에서 발생하는 작은 요청도 보냅니다. 스크래퍼 대부분은 HTML만 가져갑니다. 한 날에는 방문자라고 집계한 138개 중 121개가 Alibaba Cloud와 Tencent Cloud 서버였고 스크립트는 하나도 불러오지 않았습니다. 정상 브라우저 서명이 없는 요청과 이름이 알려진 크롤러도 봇으로 처리했습니다. Meta 크롤러는 일반 Chrome 서명을 보내고 페이지도 실행해 첫 검사에서 걸리지 않았습니다. Caddy에서 주소 대역을 막되 링크 미리보기에 필요한 요청은 통과시켰습니다. Amazonbot과 SEO 크롤러 몇몇은 몇 시간 동안 수천 페이지를 읽어 실제 사용자의 사이트 이용까지 느리게 해서 차단했습니다. 제 집 인터넷 접속도 제외하지만 휴대전화 모바일 데이터 접속은 아직 집계에 섞였습니다. 개인정보 보호 중심 분석 도구는 낮은 수치, 서버 로그는 높은 수치로 봅니다. 광고 차단기가 분석 도구를 가리는 실제 방문자도 있어 정답은 그 사이에 있습니다. Reddit에서 이미 질문한 사람에게 답하는 일은 제품을 발표하는 것과 느낌이 달랐습니다.
• @nayandeveloper — 봇을 초기에 걸러내는 일은 괴롭지만 현실을 확인하는 좋은 방법입니다. Steam 태그는 시끄럽고 정확하지 않으니 리뷰를 읽어 실제 플레이 감각을 파악하려는 방향이 좋습니다. 새 도메인은 꾸준히 색인된 뒤 실제로 안정적인 검색 유입이 생기기까지 보통 3~6개월 걸립니다.
  • @Levente Nagy — 봇 수치를 인정하기는 괴로웠지만 가짜 숫자를 바탕으로 만들기보다 낫습니다. 리뷰 작업은 진행 중입니다. 오늘 리뷰가 1,000개 이상인 게임 약 6,200개의 리뷰를 모두 읽었습니다. Deep Rock Galactic은 전에는 느슨하게 관련된 게임이 섞였는데, 이제 플레이어들이 실제로 함께 비교하는 Left 4 Dead 2와 Darktide가 나옵니다. 모든 변경이 일부 목록을 나쁘게 만들 수 있어 적용 전에 계속 살펴보고 있습니다. 3~6개월이라는 말은 자주 들었고, 느린 기간을 감수하기로 했습니다.
• @careerpilotuk — 신뢰를 중심에 둬야 한다는 말에 공감합니다. 저희 고용주 직거래 구인 사이트에서는 오래된 공고가 그쪽의 서버 종료 게임과 같습니다. 죽은 결과 하나가 좋은 결과 여러 개보다 신뢰를 더 크게 깎습니다. 주기적으로 출처를 다시 확인해 문제가 있는 항목을 숨기고, 마지막 확인 날짜를 표시하고, 한 번 눌러 오류를 알리는 버튼을 두면 데이터도 얻을 수 있습니다. ‘특정 게임과 비슷한 게임’ 페이지는 좋은 선택입니다. 추천 항목마다 왜 맞는지 설명하고 검색 유입이 커질 때까지 몇 달을 예상하세요.
  • @Levente Nagy — 서버가 종료된 두 게임에서 배운 점도 정확히 그겁니다. 잘못된 추천 하나가 좋은 추천 열 개보다 큰 손해를 줍니다. 일부 데이터는 이미 일정에 따라 갱신합니다. 가격은 하루 두 번, 신규 게임과 변경 사항은 매일 반영합니다. 어려운 점은 서버가 종료된 게임이 Steam 데이터에 흔적을 남기지 않는다는 겁니다. 정기 갱신으로도 두 게임을 찾지 못했을 겁니다. ‘마지막 확인’ 날짜는 저렴하게 추가할 수 있고 데이터가 관리되고 있다는 점도 보여줍니다. ‘이 게임에 문제가 있나요?’라는 링크도 초기 경보 역할을 할 수 있겠네요. 두 가지 모두 할 일 목록에 넣겠습니다. 현실적인 일정도 감사합니다. 몇 주가 아니라 몇 달이라는 말이 다들 같네요.
• @mojtermin — 특정 게임과 비슷한 게임을 찾는 페이지로 Google 유입이 늘었다는 점은 틈새 디렉터리에서도 봤습니다. 긴 검색어를 겨냥한 페이지가 넓은 주제 페이지보다 빨리 노출되곤 합니다. 페이지마다 짧은 직접 작성 설명과 추천 이유를 넣어 내용이 서로 다르게 보이도록 한 것이 도움이 됐습니다. 검색량에 따라 페이지를 만들 게임을 고를 생각인가요, 아니면 전체 카탈로그에 생성하나요?
  • @Levente Nagy — 홈페이지는 Google 유입이 거의 없고 ‘비슷한 게임’ 페이지에서 대부분 들어옵니다. 두 방식을 섞습니다. 4만 개 게임마다 페이지가 있어 어떤 게임에서든 추천을 찾아볼 수 있지만, Google에는 리뷰가 가장 많은 5,000개만 알렸습니다. 실제 검색량 자료가 없어 Steam 리뷰 수를 관심도 대신 사용합니다. 리뷰 20만 개짜리 게임은 검색되겠지만 60개짜리는 아닐 가능성이 큽니다. 품질도 이유입니다. 인기가 적고 추천 목록이 약한 게임의 내용 빈약한 페이지가 사이트 전체의 신뢰를 떨어뜨릴 수 있습니다. 4만 개의 들쭉날쭉한 페이지보다 괜찮은 5,000개 페이지를 먼저 두고, Search Console에서 노출이 확인되면 범위를 넓힐 계획입니다.
• @aryansingh — 재방문자와 검색 노출 증가가 가장 강한 신호 같네요. 돌아오는 사용자는 여러 게임 추천을 계속 검색하나요, 아니면 한 번 돌아오는 정도인가요?
  • @Levente Nagy — 일부만 확인할 수 있습니다. 계정 16개 중 5개가 다른 날 돌아왔고, 그중 2명은 4일 이상, 한 명은 11일에 걸쳐 이용했습니다. 소수는 습관처럼 쓰는 것 같습니다. 방문자 대부분은 로그인하지 않아 같은 사람이 돌아왔는지 알기 어렵습니다. 다만 방문은 대개 검색 한 번으로 끝나지 않습니다. 출시일에는 방문자의 3분의 2가 여러 페이지를 넘겨 보며 게임을 찾아다녔습니다. 재방문자와 검색 노출 증가를 가장 주의 깊게 보는 이유입니다.
• @tsutsu — ‘울게 만드는 슬픈 이야기’처럼 지금 원하는 분위기를 묘사해 게임을 찾는 방식이 매력적입니다. Reddit 사례도 사람들이 다음에 할 게임을 묻는 곳에서 도구를 알리는 효과를 보여줍니다.
  • @Levente Nagy — 감사합니다. 분위기 검색은 제가 가장 좋아하는 부분입니다. 사람들은 다음에 할 게임 이름은 모를 때가 많지만 어떤 기분을 원하는지는 대체로 압니다. Reddit에서 이미 질문한 사람들에게 답하는 방식이 가장 좋은 결과를 냈다는 점도 기억에 남았습니다.

원문: Indie Hackers / 번역·요약: Trawling