사람이 읽는 Copilot 프롬프트와 이미지, 검수자들은 충격을 받았습니다

AI 요약

404 Media가 확보한 내부 계약직 문서와 게시판 대화를 보면, Microsoft Copilot의 이미지 편집 기능을 개선하는 과정에서 이용자의 프롬프트와 업로드 사진을 사람이 검토합니다. 검수 인력은 최소 수백 명 규모로 파악됐습니다. 이용자는 AI와 주고받은 사진과 요청이 비공개라고 생각할 수 있지만, 실제로는 외부 검수자에게 노출될 수 있습니다.

검수자는 무엇을 평가하나요?

검수자는 이용자의 원래 요청과 업로드 사진, Copilot이 만든 편집 결과 두 가지를 함께 봅니다. 두 결과 중 더 나은 것을 고르면서 요청을 제대로 따랐는지, 요청과 무관한 부분은 그대로 유지했는지, 이미지에 왜곡이나 부자연스러운 질감이 있는지, 결과물의 전반적인 품질은 어떤지를 평가합니다. Microsoft의 안내문은 결과를 비교할 때 사람의 직관을 믿고 첫인상을 따르라고 설명합니다. 미묘한 품질 차이는 사람이 잘 포착한다는 취지입니다.

이 업무는 부적절한 콘텐츠를 걸러내거나 안전 문제를 신고하는 일과 다릅니다. 검수자는 성적인 이미지 편집 요청을 포함한 결과물의 완성도를 평가합니다. 내부 게시판에는 여성의 치마를 짧게 하거나 가슴을 크게 만들고, 다리를 더 드러내게 해 달라는 요청이 언급됐습니다. 업스커트 사진 8장이 든 이미지 묶음을 봤다는 검수자는 안전 콘텐츠 표시를 추가해 달라고 요청했습니다. 동물 희생 장면이나 성적 동작을 요구하는 프롬프트를 봤다는 내용도 나왔습니다. 섭식 장애를 미화하는 이미지나 어린 소녀들을 성적으로 묘사하려는 요청도 보고됐습니다.

한 계약직 검수자는 얼굴이 항상 가려지지 않은 채 보이며, 프롬프트 상당수가 성적인 내용이고 동의 여부도 의심스럽다고 404 Media에 말했습니다. 일부 검수자는 자신도 모르는 사이에 노골적이거나 불법일 가능성이 있는 이미지를 보는 작업을 배정받았다고 게시판에 썼습니다. 이들은 주로 결과물의 품질을 평가하도록 고용됐으며, 문제가 있는 콘텐츠를 신고하는 업무를 맡은 것은 아니라고 기사에서 설명합니다.

개인정보와 노동 환경 문제

기사에서 제기하는 문제는 검수자가 불쾌하거나 충격적인 콘텐츠를 본다는 점에 그치지 않습니다. 이용자가 사적이라고 여길 수 있는 프롬프트와 사진이 AI 제품 개선 과정에서 사람에게 전달된다는 점도 다룹니다. 검수자는 이미지와 요청을 평가하는 데 필요한 맥락은 받지만, 그 자료가 이용자에게 어떤 의미인지 모두 알지는 못합니다. 기사에 인용된 Microsoft 대변인은 회사가 이용 약관에 명시한 대로 고객 데이터를 제품 개선과 행동 강령 집행에 사용한다고 밝혔습니다.

계약직 인력 가운데 한 곳은 Prolific입니다. Prolific은 선호도 조정과 안전 평가 등에 사람의 피드백을 제공한다고 홍보합니다. 다만 Prolific은 연구자가 생성형 AI가 참가자에게 보여 줄 내용을 완전히 통제하기 어렵다며 성적이거나 충격적인 자료에 특히 주의해야 한다는 지침을 둔 것으로 보도됐습니다. 404 Media의 논평 요청에는 답하지 않았습니다.

기사와 Reddit 토론은 콘텐츠 검수 노동자의 안전과 고용 조건도 쟁점으로 다룹니다. 일부 댓글은 기업이 계약직을 활용해 복리후생 책임을 피하고, 노동자에게 심리적으로 힘든 콘텐츠를 충분한 보호 없이 맡긴다고 비판합니다. 다른 댓글은 이미 안전 교육이나 경고 절차가 있는지, 어떤 규제가 실제로 문제를 막을 수 있는지 따져 묻습니다. 업무용 자료나 기업 기밀이 사람 검수 과정에 들어갈 수 있다는 우려도 나왔습니다. 한 댓글 작성자는 관리하지 않는 도구에는 다른 사람이 읽어도 괜찮은 내용만 입력하라고 조언하며, 개인정보 설정과 대화 학습 제외 옵션을 확인하고 업무 자료는 사람이 볼 수 있다고 가정하라고 말합니다.

Microsoft는 과거에도 자사 이미지 도구가 동의 없는 성적 이미지 생성에 악용된 사례가 보도된 뒤 일부 취약점을 수정했습니다. 이번 보도는 이미지 생성 결과의 안전성뿐 아니라, 품질 개선을 위한 사람 검수 과정에서 이용자가 올린 원본 사진과 프롬프트가 어떻게 다뤄지는지도 확인해야 한다는 점을 보여줍니다.

Reddit 반응

• @u/404mediaco — Microsoft Copilot 챗봇을 개선하려고 고용된 계약직 직원들은 음란하거나 노골적인 사진 편집 요청과 이용자가 올린 이미지를 계속 접합니다. 치마를 짧게 하거나 여성을 성적인 자세로 바꾸는 요청도 있고, AI가 가슴을 충분히 크게 만들었는지 평가하라는 작업도 있습니다. 이용자는 자신이나 다른 사람의 사진을 올릴 때 AI 도구와 자신만 그 이미지를 본다고 생각할 수 있습니다. 하지만 적어도 수백 명의 검수자가 프롬프트와 업로드 이미지를 들여다보기도 합니다. 404 Media가 확인한 내부 문서에 따르면 AI 회사들은 텍스트 프롬프트뿐 아니라 이용자가 편집하려고 올린 사진도 사람이 검토하게 합니다. 한 검수자는 얼굴은 항상 가려지지 않으며 프롬프트 상당수가 성적이고 동의 여부도 의심스럽다고 말했습니다.
• @u/br_k_nt_eth — 수십억 달러 규모의 기업이 복리후생을 주지 않으려고 계약직에게 이런 일을 맡깁니다. 이 시장을 조금이라도 규제하지 않는다는 점이 놀랍습니다.
  • @u/CMButterTortillas — 그게 이 글을 읽고 내린 결론인가요?
  • @u/br_k_nt_eth — 이 업계를 규제하는 방법은 여러 가지입니다. 모두 검토해야 합니다. 그래도 도움이 된다면, AI가 우리를 모두 죽인다는 뜻인가요?
• @u/Darkeyescry22 — 기업이 이런 문제가 생기지 않도록 실제로 어떤 규제를 제안받았나요? 그리고 회사가 이미 그런 절차를 시행하고 있는지는 알고 있나요?
  • @u/br_k_nt_eth — 노동자의 안전한 근무 환경을 보장하고, 계약직이 충격적인 콘텐츠를 다룰 수 있다는 점을 알리며, 안전 업무에 계약직을 쓰는 방식을 규제하는 안이 있습니다. 회사들은 자료가 익명화됐고 사람이 검토하는 일은 드물다고 계속 말해 왔습니다. 주요 플랫폼의 데이터 사용 안내에서 사람이 자료를 검토한다는 부분을 찾아보면 얼마나 눈에 띄지 않는지 알 수 있습니다.
• @u/TheJohnnyFlash — 사람들이 ‘누드 사진을 보낸다’는 데만 매달리는데, 제게는 회사의 독점 업무 자료가 노출될 수 있다는 점이 정말 큰 문제입니다.
  • @u/br_k_nt_eth — 그것도 규제가 거의 없는 계약직에게 노출됩니다.
  • @u/theone_2099 — OpenAI가 개인용 구독 자료로 학습하는 건 예상할 수 있습니다. 하지만 더 많은 돈을 내고 개인정보 보호를 기대하는 기업용 구독 자료로 학습한다면 문제가 더 커집니다.
• @u/4Cylindertech — 오래 일한 IT 담당자로서 늘 하던 조언이 AI에는 더더욱 적용됩니다. 통제할 수 없는 도구에는 다른 사람이 읽어도 괜찮은 내용만 입력하세요. 개인정보 설정을 확인하고, 가능한 경우 대화 학습을 끄세요. 업무 관련 내용은 사람이 볼 수도 있다고 생각하세요. 대부분은 자신이 무엇에 동의했는지 잘 모릅니다.
• @u/Miiohau — ‘안전팀에 신고’ 버튼을 추가해야 합니다. 안전장치를 통과하는 프롬프트도 생깁니다. 그 버튼을 ‘이 콘텐츠가 불편하다’는 표시로 남용할 수도 있겠지만, 그런 반응도 유용한 정보입니다.
• @u/LotsaCatz — OpenAI나 Claude에 미적분학 II 숙제를 물어볼 때도 사람이 프롬프트를 검토하나요? 사람이 검토한다면 어떤 기준을 적용하나요?
• @u/Madogvelkor — 진짜 걱정은 이런 요청 중 얼마나 많은 것이 십대와 어린이에게서 나오는지입니다. 같은 반 학생이나 교사가 관련될 수도 있습니다.

원문: 404 Media / 번역·요약: Trawling