'Project Lily' 내부 — 당신의 ChatGPT 대화를 읽고 있는 사람들

본문

AI 모델이 인터넷 스크래핑과 엔지니어링 역량만으로 개선된다는 통념과 달리, 실제 사용자 대화를 사람이 직접 읽고 평가하는 작업이 핵심 축이라는 사실이 드러났습니다. 404 Media가 입수한 내부 문서와 취재를 통해 OpenAI의 'Project Lily'로 불리는 인간 검토 체계의 실체가 공개되었습니다.

Project Lily의 작업 방식

OpenAI는 수백 명 규모의 외부 계약직을 고용해 실제 사용자가 입력한 ChatGPT 프롬프트의 거대한 스트림을 검토하게 하고 있습니다. 이들이 보는 자료에는 사용자와 챗봇 사이의 대화 전체가 포함될 수 있으며, 계약직들은 챗봇이 생성한 응답을 평가(rating)하고 비평하는 방식으로 모델 개선에 기여합니다. 프롬프트 작업에 참여하는 한 관계자는 사용자들이 이 사실을 알고 있느냐는 질문에 "아니요"라고 답하며, "어딘가의 계약직이 자신들의 대화를 분석하고 있다고는 상상하지 못할 것"이라고 말했습니다.

무엇을 고치려 하는가 — 탈의인화와 아부 줄이기

내부 문서에 따르면 계약직들은 ChatGPT가 스스로를 의인화(anthropomorphize)하지 않도록 훈련시키고, 과도하게 아첨하는(sycophantic) 응답을 줄이는 작업을 수행합니다. 이는 OpenAI의 핵심 과제로 꼽히는데, 지나치게 이용자를 추종했던 GPT-4o 모델이 여러 건의 소송에서 일부 사용자의 자살에 부분적 원인이 되었다고 지목되었기 때문입니다. 즉 인간 검토는 단순한 품질 관리가 아니라, 모델의 유해한 상호작용 패턴을 교정하는 안전 장치의 일환으로도 기능하고 있습니다.

프라이버시 리스크

사람들이 ChatGPT를 상담사, 업무 보조, 디지털 친구처럼 사용하며 삶의 친밀한 세부사항을 털어놓는 만큼 이번 보도는 중대한 프라이버시 리스크를 제기합니다. 계약직은 ChatGPT 사용자명을 볼 수 없고, OpenAI는 프롬프트가 검토자에게 전달되기 전 개인정보를 제거하려 노력한다고 밝혔습니다. 그러나 회사는 민감한 세부정보가 여전히 걸러지지 않고 통과될 수 있다는 점을 인정했습니다. 9억 명 이상의 사용자 대부분이 자신의 대화가 실제 사람에게 읽힐 수 있다는 사실을 모른다는 점이 문제의 핵심입니다.

모델 개선의 숨겨진 축

이번 보도는 AI 모델이 OpenAI의 대규모 인터넷 스크래핑, 고액 연봉의 엔지니어링·AI 팀의 역량, 최신 모델의 성능만으로 발전한다는 오해를 바로잡습니다. 실제 프롬프트에 대한 응답을 반복적으로 읽고 검토하는 외부 계약직 노동이 간과된 중요한 요소라는 것입니다. Anthropic도 404 Media에 모델 개선을 위해 인간 검토를 사용하고 있다고 확인해, 이 관행이 업계 전반에 걸쳐 있음을 시사합니다.

Reddit 반응

• @u/EternalAntFarm (435+) — "계약직은 사용자명을 볼 수 없고 OpenAI는 개인정보 제거를 '노력한다'고 하지만 민감한 정보가 통과될 수 있다고 인정했다"는 대목을 인용하며, "새끼손가락 걸고 약속해!(Pinky swear!)"라고 비꼽니다. 회사의 익명화 약속을 신뢰할 수 없다는 조롱 섞인 반응으로 435개 이상의 공감을 받았습니다.

원문: 404 Media / 번역·요약: Trawling