OpenAI, robots.txt 공통 AI 학습 선호 신호 도입 예고

본문

OpenAI는 2026년 10월 30일 웹사이트 운영자가 robots.txt에 AI 학습 선호를 표시하면 이를 존중하는 공통 신호를 지원하겠다고 발표했습니다. 회사는 향후 수개월 안에 신호를 구현하고 구체적인 구현 내용은 별도 업데이트로 공개할 계획입니다. 발표에서 예고한 것은 도입 계획이며, 적용을 시작했다는 내용은 담기지 않았습니다.

공통 신호가 겨냥하는 변화는 사이트 운영자의 규칙 관리 방식입니다. 지금까지 운영자는 각 AI 업체의 크롤러를 따로 지정하고 업체별 규칙을 유지해야 했습니다. OpenAI는 여러 사업자가 같은 신호를 읽으면 사이트가 각 업체마다 설정을 반복하는 부담을 줄일 수 있다고 설명했습니다. 이 방식은 자발적인 참여를 전제로 하며 OpenAI는 다른 AI 사업자에도 신호를 따르도록 권했습니다.

OpenAI가 연결한 형식 초안은 Kevin Kelley가 작성한 Machine-Readable Training Preference Signal입니다. IETF Datatracker는 Kelley를 문서 작성자로 기재하고, 이 문서를 IETF의 공식 승인을 받지 않은 개인 Internet-Draft로 분류합니다. 따라서 이 문서의 규칙은 확정된 IETF 표준이 아니라 제안된 형식입니다.

초안은 robots.txt에 새 명령어를 추가하는 대신 기존 User-Agent, Disallow, Allow 규칙을 활용합니다. User-Agent: __usage_ai-training이라는 정책 토큰으로 AI 학습 선호를 표시한 다음 경로별 허용 여부를 적습니다. 예를 들어 Disallow: /로 전체 사이트 경로의 학습 사용에 반대하고 Allow: /press-kit/로 보도자료 경로는 허용한다고 나타낼 수 있습니다. 토큰은 실제 사이트를 방문하는 봇의 이름이 아니라 어떤 용도의 콘텐츠 사용 선호를 표현하는지 가리킵니다. 해당 토큰을 적지 않은 경우 초안은 선호가 표현되지 않은 것으로 처리합니다.

초안에서 AI 학습은 콘텐츠를 이용해 생성형 AI 모델의 학습된 매개변수를 바꾸는 일입니다. 이 신호는 콘텐츠 사용 선호를 나타내며 크롤링 접근을 제한하는 규칙과는 역할이 다릅니다. 초안은 사업자가 선호를 참고해 크롤링을 줄일 수 있다고 설명하지만, 크롤링 자체를 제한하려면 크롤러별 규칙을 별도로 둡니다. 또한 초안은 사적 계약이 이 선호 신호보다 우선할 수도 있다고 규정합니다.

OpenAI의 현재 크롤러 문서도 학습과 검색을 나눠 설명합니다. GPTBot은 생성형 AI 기초 모델 학습에 쓰일 수 있는 콘텐츠를 수집하고, OAI-SearchBot은 ChatGPT 검색 결과를 위한 크롤러입니다. 두 설정은 독립적이어서 사이트는 검색 크롤러를 허용하면서 학습용 크롤러는 제한할 수 있습니다. OpenAI는 공통 신호가 기존 robots.txt 제어를 대체하지 않으며 기존 크롤러 제어도 계속 적용된다고 밝혔습니다.

자료: OpenAI, IETF Datatracker / 정리·해설: Trawling