웹사이트가 AI 에이전트의 접근을 막고 있습니다

AI 요약

OpenAI, Meta, Google 등이 예약부터 쇼핑까지 대신 처리하는 자율형 에이전트를 내놓고 있지만, 웹사이트들은 에이전트의 접근을 차단하거나 제한하고 있습니다. Yelp는 데이터 라이선스 프로그램에 비용을 내는 에이전트만 허용한다고 밝혔고, Delta Air Lines는 에이전트가 사용자를 대신해 항공권을 예약하지 못하게 합니다. JPMorgan Chase와 Charles Schwab은 보안 우려를 들어 계정 접근을 막고 있습니다. Cars.com과 Amtrak에서도 차단 사례가 보고됐습니다.

Amazon과 에이전트의 충돌

Amazon은 지난해 Perplexity의 쇼핑 에이전트에 중단을 요구하고 소송을 제기했습니다. Amazon은 고객 대신 상품을 구매하는 제3자 서비스가 공개적으로 운영되고 서비스 제공자의 참여 여부를 존중해야 한다고 주장했습니다. Perplexity는 에이전트를 사용자의 대리인으로 봐야 한다고 반박하며, Amazon이 광고를 보는 사람을 줄이려 한다고 지적했습니다. 법원은 한때 Perplexity 에이전트의 Amazon 쇼핑을 막았지만 항소심이 8월에 그 결정을 뒤집었습니다. Amazon은 이후 소장을 수정해 제출했습니다.

Amazon은 Meta의 Muse에도 사이트 정책 위반을 이유로 계속 접근하지 말라고 통보했습니다. Grok, Instinct의 에이전트, OpenAI의 Dots도 Amazon에서 작동하지 않는다는 보고가 있습니다. Meta는 에이전트를 막으면 그 뒤에 있는 고객도 외면하는 셈이라며 사업자와 우려를 해결하고 싶다고 밝혔습니다. Meta는 Walmart, Gap, Sephora, Best Buy 등과 제휴해 Muse가 해당 사이트에서 쇼핑하도록 했고, Shopify도 자사 판매점 네트워크를 AI 에이전트에 열었습니다.

봇 차단과 인프라 부담

에이전트를 명시적으로 금지하지 않는 사이트도 기존 봇 차단 장치로 에이전트를 막을 수 있습니다. Google이 Muse를 쓴 일부 계정을 의심스러운 활동으로 차단했다는 Reddit 게시물이 있고, Meta와 제휴한 Walmart에서도 결제 문제가 보고됐습니다. EquiStamp의 CEO Chris Canal은 에이전트가 사기나 해킹을 막으려고 만든 일반적인 보안 장치에 걸릴 수 있다고 설명합니다.

Cloudflare는 2025년에 AI 크롤러를 한 번에 차단하는 기능을 내놓았고, 이후 검색 색인과 AI 학습을 위해 동시에 사이트를 긁는 크롤러를 차단하기 시작했습니다. Cloudflare는 AI 봇이 인터넷 인프라에 부담을 주고 이메일 수신함을 어지럽힌다고 설명합니다. Canal은 사이트들이 사람임을 확인하는 절차를 더 늘리면 장보기 같은 일상적인 웹 이용도 번거로워질 수 있다고 말합니다.

에이전트가 웹에서 할 수 있는 일

Canal은 에이전트가 온라인에서 사람이 할 수 있는 모든 일을 한다는 주장이 사이트 차단과 부딪히면 에이전트의 효용이 줄어든다고 봅니다. 사이트 입장에서는 에이전트가 서버 자원을 쓰면서도 광고 노출을 만들지 않을 수 있고, 자동 구매의 실수나 환불 요청을 처리해야 합니다. 반면 사용자를 대신해 상품을 비교하고 거래하는 기능을 제공하려는 기업은 접근을 허용하는 사이트가 필요합니다. 기사에 따르면 사이트마다 에이전트에 대한 정책과 대응은 다르며, 별도의 제휴나 데이터 이용 허가를 두는 사례도 있습니다.

Reddit 반응

• @u/fuzzus628 — 지난 30년 동안 캡차를 풀게 해놓고 이제 로봇을 들여보내는 이유가 뭘까요?
  • @u/Caraes_Naur — 우리는 30년 동안 로봇에게 신호등과 자전거가 어떻게 생겼는지 가르쳤습니다.
  • @u/CV90_120 — Waymo가 여러분의 노고에 감사드립니다.
  • @u/pookage — 캡차는 지금의 로봇을 위한 무료 학습 데이터를 제공하는 역할을 해왔습니다.
• @u/WhichCarry749 — Cloudflare는 제가 탭을 세 개 빠르게 여는 것만으로도 절반은 막으면서, 봇은 멀쩡히 긁어 갑니다.
  • @u/nio_ribbon — Firefox에 개인정보 보호 확장 프로그램을 몇 개 깔고 웹을 돌아다니면 Cloudflare는 국가 지원 사이버 테러리스트처럼 취급합니다. 실제 스크래퍼는 그냥 통과하는데 말이죠.
• @u/sysadmin_diaries — 진짜 문제는 실제 고객을 위해 일하는 AI 에이전트와 데이터를 긁거나 서비스를 악용하는 봇을 웹사이트가 어떻게 구별하느냐입니다. 보안팀에는 전부 막는 편이 쉬울 수 있지만 그러면 일반 사용자를 위한 에이전트도 쓸모없어집니다. 에이전트가 일반 브라우저 사용자처럼 행동하게 하기보다 권한을 제대로 설정한 신뢰할 수 있는 API 접근이 더 낫다고 봅니다.
  • @u/CakeTown — 그렇다고 모든 웹마스터에게 튼튼한 API를 지원할 시간이나 여력이 있는 건 아닙니다. 자동 시스템은 일반 사용자의 웹 이용보다 자원을 더 쓰고 추가 보안 조치도 필요할 수 있으니, 문을 닫으려는 운영자를 지지합니다.
  • @u/PipsqueakPilot — AI 에이전트에게는 광고를 보여줄 수 없습니다. 고객이 직접 사이트를 이용하게 하면 광고가 눈에 들어옵니다.
• @u/QuimGracado9 — 활동 이용자가 한 번에 30명 정도인 오래된 소규모 포럼을 운영하는데, 지난 18개월 동안 AI 크롤러가 계속 디도스 공격처럼 몰려왔습니다. 동시 접속자 기록이 그들 때문에 1,000명 늘었습니다.
  • @u/WhollyHolyHoley — 10년 넘게 소규모 웹사이트 몇 개를 운영하고 있습니다. 지난 1년 동안 봇이 몰려와서 까다로운 보안 규칙을 적용해야 했습니다. 하루에 20만 건이 넘는 요청이 올 때도 있고 서버가 429 오류를 내기도 합니다.
  • @u/noobsc2 — 작은 게임 서버의 CPU 사용량이 계속 최대치라 로그를 확인했더니 OpenAI가 10년 동안 업데이트도 없던 제 위키를 몇 달간 초당 여러 번 요청하고 있었습니다.
• @u/CautionarySnail — 사이트가 약관에 따라 에이전트 접근을 허용하고 싶다면 MCP 서버를 만들면 됩니다. MCP는 환각이 발생했을 때 피해를 제한하도록 에이전트의 행동 범위를 좁히는 안전한 경로를 만드는 용도이기도 합니다.
  • @u/EmbarrassedHelp — 비인간 사용자가 사이트에 접근할 때 자원을 덜 쓰도록 경로를 제공하는 게 API의 목적 아니었나요?
• @u/IntelArtiGen — AI 에이전트라고 잘못 판단해 사람까지 차단하는 사이트도 늘고 있습니다. 에이전트가 사람처럼 컴퓨터를 조작할 수 있게 되면서 오탐도 많아졌습니다.
  • @u/BrainOnBlue — 에이전트는 실수할 수 있고 사용자가 잘못된 지시를 내릴 수도 있습니다. 반품이 늘면 추가 고객 지원 인력이 필요할 수 있고, 그 비용이 추가 매출보다 클 수도 있습니다.
• @u/W1v2u3q4e5 — 웹사이트는 AI 에이전트를 어떻게 차단하나요? 에이전트는 사람처럼 자연스럽게 웹사이트에 접근하도록 설계된 것 아닌가요? 브라우저 지문, 캡차, 요청 제한 등이 있다는 건 알지만 구체적인 차단 방식이 궁금합니다.
  • @u/Splinezzz — 에이전트가 자신을 봇이라고 올바르게 식별하는지에 따라 다릅니다. 사용자 에이전트 헤더에서 AppleBot처럼 자신을 밝히면 구별할 수 있습니다. Windows와 Chrome을 쓰는 일반 사용자처럼 식별하고 사람처럼 행동하면 구별하기가 매우 어렵습니다.
• @u/defenestrate_urself — Google 검색에 들어간 AI 같은 기능이 웹사이트의 광고 수익을 얼마나 가져가고 있는지 궁금합니다. 정보를 얻으려고 웹사이트를 방문할 필요가 없는 경우가 많아졌고 영향이 상당할 것 같습니다.
  • @u/FeatherlyFly — 수익 감소와 더불어 백엔드에서 LLM이 사이트에 접근하는 비용이 일반적인 사람의 방문보다 커져서 소규모 사이트나 틈새 사이트가 문을 닫는다는 기사가 나왔습니다.

원문: The Verge / 번역·요약: Trawling