Wikipedia's Cleanup of AI-Generated Content
위키백과 편집자들은 AI 생성 문서를 어떻게 걸러내나
위키백과의 자원봉사 편집자들은 AI 문체를 가려내고 부정확한 인용을 바로잡기 위해 2023년부터 정리 작업을 벌이고 있습니다. AI 탐지 도구가 표시한 새 문서·초안 비율은 2025년 말 약 20%에서 2026년 초 15~16%로 낮아졌지만, 정책 효과인지 모델의 성능 향상 때문인지는 확인되지 않았습니다.
- 주제
에디터 노트
편집 여력은 생성량만큼 늘지 않으므로, 출처와 주장을 사람이 확인할 수 없는 문서가 쌓이면 탐지율보다 정리 비용이 먼저 문제가 됩니다. 르블뢰가 전한 탐지 비율은 Pangram의 추정치이며 오탐이 없었던 과거 자료를 기준으로 한 하한선입니다. 20%에서 15~16%로 내려갔다는 수치만으로 정책의 효과를 입증하지 못한다는 설명도 함께 제시합니다. 댓글에서는 정확한 AI 문장을 사람 글과 구별할 이유가 있느냐는 질문과, 인용 근거를 추적하지 못하는 모델에 권위 있는 지식 작성을 맡기기 어렵다는 반론이 맞섭니다. 또 낮은 품질을 문제 삼아야지 작성 주체를 배제할 이유는 없다는 주장에, 편집자의 검토 능력은 한정돼 있어 제출물의 양을 줄이는 것 자체가 품질 관리라는 답이 붙습니다. 이 쟁점은 글의 저자가 누구인지보다 주장과 출처를 검증하는 절차를 어떻게 확보하느냐에 달려 있습니다. 인터뷰도 출처 검증기를 보조 수단으로 한정하고, 정책의 효과는 아직 확인되지 않았다고 밝힙니다.
AI 요약
IEEE Spectrum은 위키백과의 WikiProject AI Cleanup 공동 창립자 엘리아 르블뢰(Ellia Lebleu)와의 인터뷰를 통해 AI 생성 문서 정리 방식과 위키백과의 향후 방향을 다룹니다. 편집자들은 AI 문체의 흔적뿐 아니라 문서 작성 속도와 인용 출처를 살피고 있습니다. 위키백과는 영어판에서 LLM이 문서를 생성하는 일을 금지했지만, AI 사용을 완전히 막거나 생성물을 모두 찾아내기는 어렵습니다.
AI 문체를 찾는 방법
르블뢰는 2023년 12월 무렵 편집자들이 'stands as a testament', 'rich cultural heritage' 같은 상투적 표현과 결론·'왜 중요한가?' 절을 반복하는 문서를 발견했다고 설명합니다. 2025년에는 이런 표면적 표현 대신 '세 가지 법칙(rule of three)'이나 부정 대구처럼 여러 문서에서 누적되는 구조적 패턴을 살피게 됐습니다. 문서 바깥의 정황도 단서가 됩니다. 한 편집자가 5분 만에 수천 단어짜리 문서 다섯 개를 만들었다면 의심할 만하다는 예를 들었습니다.
인용 오류는 별도의 문제입니다. 검색 증강 생성(RAG) 때문에 존재하지 않는 출처를 통째로 지어내는 사례는 예전보다 드물어졌지만, 실제 출처를 가져와 문서의 주장과 맞지 않게 인용하는 경우는 흔하다고 르블뢰는 말합니다. 위키백과 편집자 한 명이 만든 AI 출처 검증기는 문서의 주장과 인용 자료가 일치하는지 확인합니다. 다만 검증기 자체도 AI 모델이므로 결과가 항상 맞지는 않으며, 대량의 문서에서 명백한 오류를 먼저 거르는 용도로 설명합니다. 위키미디어 재단은 일부 챗봇에서 텍스트를 붙여 넣으면 표시하는 Paste Check도 개발하고 있습니다.
탐지 비율과 정책 효과
르블뢰는 AI 탐지 업체 Pangram과 함께 생성 문서 비율을 추정했습니다. ChatGPT 이전의 위키백과 문서에 적용했을 때 오탐이 없었던 결과를 기준으로, 수치는 보수적인 하한선이라고 설명합니다. 탐지기는 2025년 말 새 문서와 초안의 약 20%를 AI 생성으로 표시했고, 2026년 초에는 15~16%를 표시했습니다. 이 감소가 위키백과의 정책 때문인지, 탐지기가 새 모델의 글을 놓치기 시작했기 때문인지는 아직 알 수 없습니다.
영어 위키백과는 LLM으로 문서를 생성하는 일을 금지했습니다. 르블뢰는 정책이 효과를 냈을 가능성으로 일부 모델의 작성 거부와 탐지 비율의 하락을 언급하지만, 원인을 확정하기에는 이르다고 선을 긋습니다. AI 생성 문서 대부분이 초보 편집자에게서 나오기 때문에 환영 메시지와 편집 안내에 규칙을 알리는 노력도 하고 있습니다. 주요 상용 모델이 위키백과 문서 작성 요청을 거부하면 기술에 익숙하지 않은 이용자의 사용은 줄일 수 있지만, 제한을 피하도록 조정한 오픈 웨이트 모델까지 막지는 못한다고 덧붙입니다.
사람 손으로 쓴 백과사전의 의미
르블뢰는 위키백과가 가까운 미래에도 사람이 작성한 자료로 남는다는 점이 정체성이자 AI 학습 자료로서의 가치가 됐다고 설명합니다. 동시에 AI가 충분히 믿을 만한 문서를 쓰게 되는 경우를 두고는, 사람 작성 자료라는 정체성을 유지하면서 AI 보조 버전을 따로 제공할 수 있다고 제안합니다. 검색 결과가 AI 답변으로 대체되는 'Google Zero' 상황도 과제로 꼽습니다. 위키미디어 재단은 AI 답변에 인용된 문서의 최종 수정 시점, 포괄성, 편집자들이 표시한 문제를 함께 알리는 출처 표시 체계를 준비하고 있습니다. 이용자가 AI 답변에서 위키백과의 오류를 발견하고 수정 요청을 제출하는 방식도 가능성으로 제시합니다.
Hacker News 반응
- @clarionbell — 언젠가, 어쩌면 가까운 미래에 AI가 믿을 만한 백과사전 콘텐츠를 만들고 그 콘텐츠가 합리적인 기준을 충족하는지 검증하는 도구도 생길 겁니다. 지금은 그때가 아닙니다. 특히 검증 측면에서는 그렇습니다.
- @yreg — 위키백과는 3차 자료입니다. 편집자들도 2차 자료를 되풀이합니다. 무례하게 말하려는 건 아닙니다. LLM이 그 일을 잘하지 못할 이유는 없습니다. 앞으로 1차·2차 자료의 품질이 어떻게 될지 더 걱정됩니다.
- @kzrdude — LLM이 인용하거나 참조하는 내용을 모른다는 점이 잘하지 못하는 이유입니다. 사실의 출처를 추적하는 기능이 있는 다른 종류의 모델이라면 가능할까요?
- @112233 — '물론 정확하다면'이라는 말이 무슨 뜻인지 설명해 주세요. 무엇이 정확한지 어떻게 알 수 있는지 모르겠습니다.
- @nougati — 사람이 쓴 정확한 문장과 기계가 쓴 정확한 문장이 사실상 같을 수 있다는 말로 이해했습니다. 기계가 정확하지 않다면 같지 않다는 점이 '물론'이라는 조건이고요.
- @112233 — 식당에서 산 음식만 식당 테이블에서 먹으라고 정할 수 있듯이, 위키백과도 누가 어떤 방식으로 문서를 쓰는지 정할 수 있지 않나요?
- @berkes — 환경·정치적 논점을 빼고 보면 위키백과에서 AI 생성 콘텐츠가 왜 문제인가요? AI가 질 낮은 콘텐츠를 만들면 문제는 생산자가 아니라 품질 아닌가요? AI 생성물을 알아보기 어렵다면 인간이 쓴 글과 맞먹는 결과를 내는 셈인데, 왜 한쪽 생산자만 배제해야 하나요?
- @lemagedurage — 문제는 낮은 품질입니다. 편집자의 처리 여력이 입력량에 맞춰 저절로 늘어나지는 않으니, AI 콘텐츠를 거부하는 건 평균 품질을 유지하는 효과적인 방법입니다.
- @dspillett — 사용자 콘텐츠 사이트와 오픈소스 프로젝트 여럿이 겪는 문제입니다. 도구 덕분에 80%쯤 맞는 제출물을 쉽게 만들 수 있게 되자, 정확성을 확인하지 않거나 확인할 줄 모르는 사람들이 그런 제출물을 많이 올립니다. 그러면 프로젝트는 나머지 20%가 엉터리인 제출물에 파묻힙니다.
- @pessimizer — 위키백과에서 AI 문제를 알아차린 건 출처도 없이 틀린 내용을 아무렇지 않게 끼워 넣은 사례를 봤기 때문입니다. 위키백과는 원래도 누군가가 동기를 갖고 엉터리를 넣기 쉬웠고, 방문자가 적은 문서의 수정은 몇 년 동안 발견되지 않을 수도 있습니다. AI에는 특정 이용자나 조직으로 실수를 추적할 동기조차 없습니다. 위키백과의 구조와 운영 문제이기도 하지만 AI는 혼란을 키우는 변수입니다.
- @grd_dev — 거의 모든 웹사이트와 플랫폼이 AI 콘텐츠를 대대적으로 정리하고 있습니다. 잘하는 일입니다.
- @Cthulhu_ — AI가 만든 글은 처음에는 인상적이지만 규모가 커지거나 많이 읽을수록 잡음이 생기고 내용이 비슷해집니다. AI는 여러 용도에 유용하고 계속 남겠지만, 권위 있는 자료를 쓰는 데는 맞지 않습니다.
원문: IEEE Spectrum / 번역·요약: Trawling