Hacker News

Zombie stats: Where the numbers AI quotes come from

AI가 인용한 통계, 40%만 내용이 일치하는 연구까지 추적됐다

Trakkr Research는 AI 도우미 5종이 제시한 통계 1,285개의 인용 경로를 추적했습니다. 표본의 40%는 수치와 맥락이 일치하는 연구에 도달했고, 첫 인용 페이지가 원 연구였던 비율은 21%였습니다.

에디터 노트

조사 페이지의 방법 요약에는 사람이 확인한 경로가 180건이라고 적혀 있지만, 상세 방법과 주석에는 150건이라고 반복해 나옵니다. 페이지 안에서 두 수치가 다른 이유는 설명하지 않습니다.

본문

Trakkr Research는 2026년 10월 28일 ChatGPT, Perplexity, Gemini, Claude와 Google AI Overviews가 제시한 통계 1,285개의 출처 경로를 추적한 결과를 공개했습니다. 표본의 40%는 수치와 내용이 일치하는 연구에 도달했습니다. 8%는 연구를 찾았지만 숫자나 측정 맥락이 달랐고, 40%는 잠금·삭제·수치 미기재 등으로 확인할 수 없었습니다. 11%는 경로가 끊겼으며, 나머지 1%는 페이지가 열리지 않았습니다.

조사팀은 숫자를 요구하는 질문 200개를 각 도우미에 제시하고, 답변에 인용된 페이지에서 시작해 최대 다섯 단계까지 출처를 따라갔습니다. 각 회사 API에 웹 검색을 켜고 미국 위치에서 질문당 한 번씩 실행한 결과입니다. 전체 수치는 도우미별 인용 통계 수에 따라 가중했습니다.

인용 페이지에 숫자 자체가 실려 있던 경우는 82%였지만, 그 페이지가 원 연구였던 경우는 21%였습니다. 첫 페이지가 연구기관이나 정부 자료였을 때는 61%가 같은 내용을 담은 연구까지 이어졌습니다. 기업 블로그에서는 37%, 통계 모음 페이지에서는 35%였습니다. 조사팀에 따르면 기업 블로그가 첫 인용의 54%를 차지했고, 뉴스와 통계 모음까지 더하면 다수의 인용이 다른 곳의 수치를 재전달하는 페이지에서 나왔습니다.

연구를 찾은 통계 가운데 17%에서는 수치나 맥락이 바뀌었습니다. 변화는 숫자 자체보다 조사 대상·연도·측정 항목에서 더 자주 나타났습니다. 예를 들어 2004년 연구는 건강 웹사이트를 평가한 여성 15명의 의견을 다뤘지만, 재인용을 거치며 모든 웹사이트의 첫인상에 관한 통계로 바뀌었습니다.

같은 질문에 다섯 도우미가 같은 숫자를 내놓아도 그 숫자를 뒷받침하는 근거가 다섯 개로 늘지는 않습니다. 모두 같은 숫자를 제시한 질문 10개 가운데 추적한 5개에서 일치하는 연구를 찾았습니다. 조사팀은 ChatGPT가 답변당 통계를 가장 적게 인용했고, 표본 통계의 57%가 일치하는 연구까지 이어졌다고 보고했습니다. 다른 네 도우미는 38~46% 범위였으며, 조사팀은 이들의 결과를 서로 순위 매길 만큼 차이가 크지 않다고 설명했습니다.

이 결과는 Trakkr가 정한 질문과 2026년 10월 25일 각 회사 API에서 수집한 답변을 대상으로 합니다. 조사팀은 인용을 원 연구까지 따라가고 조사 대상과 표본 규모, 시점을 대조하라고 권합니다.

자료: Trakkr Research / 정리·해설: Trawling