검색 노출은 유지하면서 AI 학습만 거부하기 — Cloudflare의 Disallow AI Training 설정

본문

웹사이트 운영자는 오랫동안 어려운 tradeoff에 직면해 있었습니다. 자사 콘텐츠가 AI 학습에 쓰이는 것을 허용하거나, 그렇지 않으면 검색 노출을 잃을 위험을 감수하는 선택지입니다. 이는 Applebot, Bingbot, Googlebot처럼 인터넷의 대형 사업자들이 검색 인덱싱과 AI 학습을 하나의 크롤러로 처리하는 혼용 크롤러(mixed-use crawler)를 사용하기 때문입니다. 하나를 거부하면 다른 하나도 함께 거부되는 구조였습니다. Cloudflare는 이 문제를 해결하기 위해 robots.txt에 학습 거부 선호를 게시하는 'Disallow AI Training' 설정을 새로 도입했습니다.

왜 요청만으로는 부족한가

robots.txt 지시문만으로는 이 문제를 해결할 수 없습니다. 누구나 게시할 수는 있지만, 누가 크롤링하는지, 왜 크롤링하는지 식별할 수 없고 이를 무시하는 크롤러를 막을 수도 없기 때문입니다. 반면 네트워크 계층에서는 선호를 게시하고, 크롤링 주체를 식별하고, 목적을 분류하고, 무시하는 크롤러를 차단한 뒤 각 사업자의 실제 동작을 Cloudflare Radar에 보고할 수 있습니다. 통계도 이 필요성을 뒷받침합니다. 검색 봇을 차단하는 Cloudflare 사이트는 1% 미만이지만, 학습을 차단하는 메커니즘을 활성화한 사이트는 17%에 달합니다.

Accountable 지정 제도

Cloudflare는 크롤러 사업자들과 직접 협의해 'Accountable'이라는 지정을 만들었습니다. 자격 조건은 ▲robots.txt 등을 통한 AI 학습 opt-out 메커니즘, ▲AI 요약 opt-out 메커니즘(내년에는 Cloudflare를 통해 설정 가능), ▲학습에 제공된 페이지의 URL 단위 가시성과 검색 노출 지표, ▲학습 거부가 기존 검색 결과에 영향을 주지 않는다는 보장입니다. Apple, Google, Microsoft는 이 조건을 충족하며, Amazon, Anthropic, Meta, OpenAI도 검색과 학습 크롤러를 분리해 Accountable로 분류됐습니다.

새 설정 체계와 9월 15일 변경 사항

이제 봇은 Search, Training, Agent 세 가지 행동으로 분류되며 도메인 단위로 제어됩니다. 설정은 Allow, Disallow AI Training, Block on pages with ads, Block 네 가지입니다. Disallow AI Training을 선택하면 Accountable 혼용 크롤러는 검색 목적으로 계속 허용되고, 나머지 학습 크롤러는 모두 차단됩니다. 대신 Block이나 Block on pages with ads는 이제 혼용 크롤러에도 적용되어 검색 노출까지 막히므로 주의가 필요합니다. 기존 'Block AI Bots'는 deprecated되며, Managed Robots.txt는 Bot Preference Sync로 대체됩니다. 기존 도메인은 레거시 설정이 자동 마이그레이션되고, 신규 도메인에는 광고 수익화 여부에 따라 두 가지 프리셋이 제안됩니다. 참고로 Bing은 robots.txt의 학습 거부 선호를 2027년 초까지 지원 목표로 개발 중이라, 그 전까지는 NOARCHIVE 태그나 Webmaster Tools를 써야 합니다.

다음 단계: AI 요약 제어

Cloudflare의 다음 목표는 AI Summaries 제어입니다. 사이트 전체의 허용·거부 이분법은 너무 거칠기 때문에, 내년 초까지 요약에 포함되는 콘텐츠의 양을 Cloudflare에서 한 번에 제어할 수 있게 하는 것이 목표입니다. 데이터에 따르면 검색에서 요약을 읽는 소비자는 절반을 넘고, 이들은 요약을 읽은 뒤 검색을 끝낼 확률이 40% 이상 높습니다. 반면 AI 검색을 통해 유입된 방문자의 전환율은 기존 검색 대비 3~5배 이상 높아, 방문 수는 줄되 구매 의도가 강한 방문자가 오는 tradeoff가 존재합니다. ai-prefs 같은 개방형 표준이 이를 뒷받침할 예정이며, 새 설정은 모든 플랜의 고객이 사용할 수 있습니다.

Hacker News 반응

• @gchamonlive — 문제와 해결책을 동시에 제공해 온 Cloudflare의 역사를 꼬집는 냉소적 반응을 보였습니다.
• @arm32 — 그 역사가 벌써 17년째라고 받아치며, 용암 램프 일화도 재미있었다고 덧붙였습니다.
• @gleezard — 너무 늦었다고 평가하며, 이미 많은 사용자가 AI 요약을 주된 검색 결과로 소비하고 있어 되돌릴 수 없다고 주장했습니다. 광고 기반 수익 모델의 종말은 오히려 환영할 일이라고 말했습니다.
• @tracerbulletx — 이런 태도는 독립 퍼블리셔의 유일한 수입원을 무너뜨리면서 정작 거대 기업은 '원래 그런 것'이라며 봐주는 이중잣대라고 반박했습니다.
• @gleezard — 현재 방식의 광고 자체가 해롭다며, 더 나은 비즈니스 모델을 찾아야 한다고 재차 응수했습니다.

원문: Cloudflare Blog / 번역·요약: Trawling