Wayback Machine 접근 문제에 대한 업데이트 — 대규모 자동화 트래픽과 차단 조치의 배경

본문

Internet Archive가 운영하는 Wayback Machine이 최근 대규모 자동화 트래픽의 공격적인 물결에 시달리고 있으며, 서비스를 유지하기 위한 보호 조치가 가동 중이라는 공식 업데이트를 내놓았습니다. "Wayback Machine을 고쳐 달라"는 사용자들의 요구에 대한 답변 형태로, 무엇이 벌어지고 있는지와 사용자가 할 수 있는 일을 정리한 글입니다.

대규모 자동화 트래픽과 차단 조치

Internet Archive에 따르면 Wayback Machine은 대용량 자동화 트래픽의 연속적인 파도에 맞닥뜨려 있습니다. 이는 크롤러와 봇이 서비스를 대규모로 긁어가면서 발생하는 부하로, 일반 사용자가 이용하는 아카이브 서비스의 안정성을 위협하는 수준입니다. 이에 Internet Archive는 서비스를 계속 작동시키기 위한 보호 장치를 마련했고, 최근 변경 사항 중 하나로 요청이 차단될 때 표시되는 메시지를 새로 작성했습니다. 이 메시지는 HTTP 429 오류, 즉 "요청이 너무 많다(too many requests)"를 뜻하는 상태 코드와 함께 나타납니다.

오탐과 신고 절차

문제는 이 보호 장치가 실제 사람까지 오류로 걸러내는 경우가 있다는 점입니다. Internet Archive는 이로 인해 차단된 사용자에게 사과하며, 오류를 줄이기 위한 작업이 진행 중임을 밝혔습니다. 또한 악성 봇과 Wayback Machine에 매일 의존하는 실제 사용자를 구별하는 능력이 점점 개선되고 있다고 설명했습니다.

오탐으로 차단되었다고 판단되는 사용자는 [email protected]로 사용 중인 운영체제, 브라우저, IP 주소를 함께내면 검토해 준다고 안내했습니다. 자동화된 차단 시스템의 특성상 개별 신고에 의존하는 방식이지만, 서비스 규모와 예산을 고려하면 현실적인 대응 절차로 볼 수 있습니다.

배경: 크롤러 수요와 아카이브의 딜레마

이번 조치는 단순한 기술 문제가 아니라, 웹 아카이빙 서비스가 처한 구조적 딜레마를 보여줍니다. AI 학습 데이터 수집 등으로 크롤러 수요가 폭증하는 가운데, 무료 공개 서비스인 Wayback Machine은 비용 부담을 감수하면서도 접근을 열어 두어야 하는 입장입니다. 커뮤니티에서는 유료 엔드포인트 도입 같은 해법이 제안되지만, 타사 콘텐츠 접근을 판매하는 것은 저작권 소송 위험을 동반한다는 반박이 이어지고 있습니다.

Hacker News 반응

• @Onavo — 크롤러를 위한 유료 엔드포인트를 제공하면 되지 않느냐는 제안입니다. 수요는 사라지지 않을 것이며, 한쪽이 차단 장치를 세우고 다른 쪽이 소비자용 TV에 VPN SDK를 심는 식의 대응은 CloudFlare와 하드웨어 업체만 이롭게 한다고 지적했습니다. 비슷한 트래픽을 받을 것으로 보이는 archive.is 같은 미러 서비스의 근황도 궁금하다고 덧붙였습니다.
• @croes — 다른 기업의 콘텐츠를 아카이빙하는 것과 그 접근을 판매하는 것은 다른 문제라고 반박했습니다.
• @Onavo — 그것은 변호사들이 정리할 문제이며, 미국 비영리단체로서 상당한 유연성이 있고 관련 판례도 명확하지 않다고 재반박했습니다.
• @simonw — Internet Archive는 최근 몇 년 사이 도서 출판사들의 저작권 소송으로 거의 파괴될 뻔했으며, 지금 추가 소송 위험을 감수하고 싶지 않을 것이라고 분석했습니다.
• @xp84 — 저작권의 막강한 힘에는 매우 제한적인 예외만 있고, 그마저 주로 도서관에 좁은 면제 형태로 주어진다고 지적했습니다. 소규모 비영리단체는 강력한 저작권 보유자와 싸우는 비용만으로도 파산할 수 있다고 덧붙였습니다.

원문: Internet Archive Blog / 번역·요약: Trawling