Trawling

콘텐츠 마케팅을 에이전트에 맡겼습니다 — 6개월 뒤 오가닉 트래픽이 34배가 됐습니다

한 솔로 운영자가 콘텐츠 조사·작성·배포·정리 과정을 에이전트에 맡겨 하루 200편을 발행했습니다. 핵심은 많이 쓰는 것이 아니라 검색량이 낮은 키워드를 겨냥하고, 성과 없는 페이지를 자동으로 재조정·삭제한 데 있습니다.

본문

수년간 운영해 온 사이트의 콘텐츠 마케팅 전체를 에이전트(agents)에 넘긴 한 창업자가 6개월간의 검색 성과와 운영 방식을 공개했습니다. 운영자는 혼자 일하며, 성과를 낸 글 가운데 직접 작성·조사·편집한 글은 하나도 없다고 설명합니다. 현재 사이트는 하루 200편을 발행하고 있으며, 라이브 상태인 글은 2만 3,000편을 조금 넘습니다. 검색 유입은 2월을 기준으로 33.9배, 광고 수익은 33.6배, 사이트 방문자는 20배 증가했습니다.

에이전트가 자동화한 콘텐츠 생산 과정

운영자가 22년 동안 해 온 SEO(Search Engine Optimization) 작업은 특별히 복잡한 파이프라인이 아니라고 합니다. 먼저 Google Ads 데이터에서 시장조사 자료를 가져오고, 키워드를 정한 다음, 해당 키워드의 검색 결과 상위 10개를 읽습니다. 이후 상위 문서가 다루는 내용을 모두 포함하면서 경쟁 문서가 다루지 않은 내용을 추가해 글을 작성합니다. 과거에는 이 과정을 글 하나마다 사람이 수행했지만, 지금은 같은 작업이 에이전트에 의해 처음부터 끝까지 실행됩니다.

다만 처음 두 달은 효율적인 성과로 이어지지 않았습니다. 4월에 발행한 글 중 53%는 60일이 지나도록 단 한 번의 노출(impression)도 얻지 못했습니다. 운영자는 처음에 Google이 기계가 작성한 글이라는 사실을 알아내서 노출을 막았을 가능성을 의심했지만, 실제로는 달랐습니다. 성과가 없었던 페이지의 색인 상태를 확인한 결과 66%가 정상적으로 색인(indexing)되어 있었습니다. 검색엔진이 거부한 것이 아니라, 애초에 검색하는 사람이 없는 주제를 다룬 것입니다.

문제는 글의 품질보다 겨냥한 검색 수요였습니다

운영자는 노출이 없었던 페이지 1,412개를 다시 확인하고, 각 페이지와 인접한 키워드 가운데 월간 검색량이 100~2,000회인 키워드가 있는지 조사했습니다. 그런 키워드를 찾을 수 있었던 페이지는 158개, 전체의 11%뿐이었습니다. 나머지는 검색 수요가 사실상 없는 영역에 놓여 있었습니다.

원인은 경쟁이 큰 키워드를 반복해서 겨냥한 데 있었습니다. 검색 결과 상위 10개를 분석해 경쟁 키워드에 맞는 글을 작성하면, 결과적으로 11위에 도달할 수 있습니다. 하지만 11위는 유입을 거의 만들지 못합니다. 이런 작업을 1,000번 반복해도 결과의 산술 자체는 바뀌지 않습니다. 월간 검색량이 1,000~5,000회인 키워드에서는 중간 순위가 14.4위였고, 해당 검색어 중 상위 10위에 들어간 비율은 34%였습니다. 반대로 월간 검색량이 50~100회인 키워드에서는 중간 순위가 8.6위였고, 68%가 상위 10위에 진입했습니다. 이 구간의 클릭률(CTR)은 2.90%로 모든 검색량 구간 가운데 가장 높았습니다.

6월부터는 에이전트와 파이프라인을 그대로 유지한 채 목표 키워드의 검색량 구간만 낮췄습니다. 노출 0인 페이지의 비율은 4월 53%에서 5월 35%, 6월 25%로 내려갔습니다. 운영자가 강조하는 결론은 콘텐츠를 더 많이 생산하는 것만으로는 부족하며, 어느 검색 수요 계층(tier)을 겨냥할지 결정하는 일이 순위와 유입량을 좌우한다는 점입니다.

유입은 늘었지만 페이지 간 경쟁은 줄었습니다

검색 클릭 수는 2월 대비 33.9배, 광고 수익은 33.6배가 됐습니다. 사이트 방문자는 20배 늘었지만 페이지뷰(pageview)는 3배 증가에 그쳤습니다. 방문자 한 명이 여러 글을 둘러보지 않고 검색으로 찾은 한 편의 글만 읽고 떠났기 때문입니다. 페이지당 방문 수는 2월 12.4에서 8월 1.9로 내려갔습니다. 운영자는 각 글이 하나의 질문에 정확히 답하고, 그 질문과 관련된 광고로 수익을 얻는 구조라면 이런 변화도 문제가 되지 않는다고 설명합니다.

트래픽의 분산 정도는 더 크게 바뀌었습니다. 2월에는 사이트 전체에서 클릭을 얻은 페이지가 209개뿐이었고, 상위 10개 페이지가 전체 클릭의 70.9%를 차지했습니다. 사이트 이름을 직접 검색해 방문하는 한 페이지 하나만으로 전체 클릭의 54%가 발생했습니다. 반면 8월에는 클릭을 얻은 페이지가 6,839개로 늘었고, 상위 10개의 비중은 10.1%로 내려갔습니다. 가장 많은 클릭을 얻은 단일 페이지의 비중도 2%에 그쳤습니다. 특정 페이지 하나가 사라져도 전체 수치에서 알아차리기 어려운 구조가 된 것입니다.

블로그가 링크 유입과 외부 신뢰를 만들었습니다

운영자는 트래픽 34배보다 사이트의 어떤 부분도 더 이상 단일 페이지에 의존하지 않게 된 점이 중요하다고 봅니다. 또 하나의 변화는 외부 링크 제안입니다. 블로그 섹션이 생기고 글이 쌓이기 전까지는 수년 동안 단 한 번도 링크 교환 요청을 받지 못했지만, 콘텐츠가 축적된 뒤에는 거의 매일 요청이 들어오기 시작했습니다. 별도의 아웃리치(outreach)나 링크 구축 캠페인은 진행하지 않았고, 블로그를 추가한 것이 유일한 개입이었다고 합니다.

요청을 보낸 곳도 예상과 달랐습니다. 운영자는 자신보다 훨씬 큰 기업, 상장사, 법률·회계 법인 등 1년 전이라면 연락조차 받기 어려웠을 조직들이 포함됐다고 말합니다. 링크 팜(link farm)으로 보이는 출처는 거의 없었으며, 사이트 연결 여부를 검토하는 사람들이 콘텐츠가 충분히 쌓인 블로그를 정당성과 신뢰성의 신호로 읽고 있다고 설명합니다.

성과 없는 페이지를 자동으로 정리하는 운영 규칙

사이트는 추가 발행만 하는 방식으로 운영되지 않습니다. 28일 동안 노출이 0인 페이지는 스크립트가 주제를 다른 대상으로 재지정하는 대기열에 넣습니다. 56일이 지나도 노출이 없으면 페이지에 noindex를 설정하고 사이트맵(sitemap)에서 제거합니다. 이 작업은 매일 아침 자동으로 실행되며, 8월 19일에는 한 번에 1,601개 글이 삭제됐고 운영자는 로그를 통해 이를 확인했습니다.

운영자는 계속 글만 추가하면 사이트 전체에서 죽은 페이지가 차지하는 비율이 끝없이 높아진다고 지적합니다. 검색 스팸 시스템이 실제로 볼 수 있는 것은 단순한 발행량보다 이런 비활성 페이지의 비율일 수 있다는 설명입니다. 다만 어떤 검색량 계층을 목표로 삼을지, 어떤 글을 삭제할지는 자동화하지 않았습니다. 이 판단은 수치를 바탕으로 논의해야 하며, 에이전트 스스로 결과에 대한 이해관계를 갖고 결론을 내릴 수는 없기 때문입니다.

사람에게 남은 일은 하루 한 번의 의사결정입니다

현재 에이전트는 매일 노출을 얻은 글, 28일 동안 아무런 노출이 없는 글, 재타기팅(retargeting) 대기열에 들어간 글을 보고합니다. 운영자가 작성한 시점 기준 대기열에는 2,418개 글이 있습니다. 운영자는 이 보고서를 KPI와 대조하고, 숫자가 의미하는 바를 함께 검토한 다음 다음 생산 배치가 어떤 주제를 다룰지 결정합니다. 직접 수행하지 않을 작업을 에이전트가 처리하고, 자신은 그 결과를 정리된 보고서로 읽은 뒤 하루에 한 가지 결정을 내리는 방식입니다.

다음 과제는 2,418개에 달하는 재타기팅 대기열입니다. 이 목록은 운영자가 처리하는 속도보다 빠르게 늘고 있어, 노출이 0인 글 가운데 유용한 다른 주제로 연결할 수 있는 글이 수백 개 있을 가능성이 있습니다. 다만 이 판단을 더 빠르게 만드는 방법을 아직 찾지 못했으며, 그 의사결정까지 에이전트에 넘기고 싶지는 않다고 말합니다.

Indie Hackers 반응

  • @OpenMyPro — 재타기팅 대기열이 흥미로운 질문이며, 계산 비용 없이 정렬할 수 있는 두 번째 축도 있습니다. 먼저 2,418개를 노출 수로 나누세요. 서로 다른 두 가지 결함이 하나의 묶음에 들어 있기 때문입니다. 노출 0은 타깃팅 실패이고 기존의 계층화가 이미 이를 해결합니다. 노출은 있지만 클릭이 0인 경우는 제목과 검색 의도 문제이며, 키워드를 재타기팅해도 해결되지 않습니다. 그다음 나머지를 답변을 페이지 안에 그대로 넣을 수 있는지 여부로 정렬하세요. 이번 달 두 사이트에서 이를 측정했습니다. 한 사이트는 90일 동안 Copilot 인용 87,400건을 얻었지만 AI 소스에서 발생한 세션은 0이었습니다. 인용된 상위 페이지가 모두 리뷰나 가격 비교였고, 답변 엔진이 내용을 통째로 읽어 주면 독자는 끝나기 때문입니다. 인용을 방문으로 바꾼 페이지는 설정 가이드, 실시간 비교, 페이지 안에 도구나 입력 기능이 있어 답변 안에 가치를 그대로 담을 수 없는 페이지였습니다. 따라서 2,418개 글에서는 답변을 그대로 옮길 수 없는 정도를 기준으로 순위를 매기고, 그런 글부터 처리하세요. 답변을 그대로 옮길 수 있는 페이지는 재타기팅해도 여전히 0일 것입니다. 애초에 얻을 수 있는 클릭이 없었기 때문입니다. 다만 두 사이트뿐이고 이 사이트처럼 많이 발행하지 않았으므로 법칙이 아니라 단서로 봐야 합니다.
  • @garaad — 에이전트를 테스트하고 있으며, 내 B2B에 적용할 수 있는지 확인하기 위해 에이전트를 복사해서 붙여 넣어 봤습니다.
  • @sniper8192 — 두 가지가 눈에 띄었습니다. 첫째, “어떤 계층을 목표로 하느냐가 얻는 순위를 결정한다”는 말은 대부분의 SEO 담당자가 어렵게 배우는 사실을 더 명확하게 표현합니다. 계층화 없이 생산량만 늘리는 것은 색인 예산(index budget)을 태우는 일일 뿐입니다. 4월부터 6월까지 노출 0인 페이지 비율이 53%에서 실제 순위 확보 상태로 바뀐 것은 훌륭한 사례 연구입니다. 둘째, 상장사에서 들어온 링크 교환 요청은 실제 해자가 만들어지고 있다는 신호처럼 느껴집니다. 34배 트래픽이 헤드라인이지만, 훨씬 큰 회사에서 들어오는 관심은 이 콘텐츠 라이브러리가 스스로 누적되는 참고 자산이 되고 있다는 뜻입니다. 이 유입 요청 비율을 별도의 KPI로 추적하겠습니다. 콘텐츠가 ‘색인됨’에서 ‘권위 있음’으로 넘어갔다는 선행 지표이기 때문입니다.
  • @omri_ben_shoham — 이것은 규모가 커졌을 때의 측정 가시성 문제입니다. 작업은 넘겼지만 이제 시스템이 실제로 무엇을 하는지 측정해야 합니다. 34배 트래픽이라는 숫자가 강력한 이유는 관측할 수 있기 때문이지만, 에이전트를 콘텐츠에 사용하는 대부분의 팀은 무엇이 효과가 있었는지 포착할 계측(instrumentation)을 마련하지 않습니다. 실제 사용자 행동을 기준으로 에이전트의 결과를 거꾸로 측정하는 것만이 내가 에이전트를 운영하는지, 에이전트가 나를 운영하는지 알 수 있는 방법입니다.
  • @StefanStefanos — 삭제 시스템이 이 글에서 가장 가치 있는 부분일 수 있지만, 28일과 56일 규칙을 완전히 신뢰하기 전에 작은 대조군(control group)을 두겠습니다. 노출 0인 페이지의 5~10% 정도를 키워드 계층과 색인 상태별로 묶어 60일 또는 90일 더 건드리지 않고 남겨 두세요. 그러면 자연스럽게 노출을 얻었을 페이지와 계속 죽어 있었을 페이지의 비율을 알 수 있습니다. 이런 보류군이 없으면 정리와 성장이 동시에 일어나기 때문에 삭제의 가치와 개선된 키워드 타깃팅의 가치를 분리하기 어렵습니다. 또 계층마다 만료 기간을 다르게 설정해야 하는지도 확인할 수 있습니다.

원문: Indie Hackers / 번역·요약: Trawling

참고 자료

오류 제보