AI 업계가 지식재산권을 발견했습니다

AI 요약

OpenAI는 모델의 ‘보호된 추론(protected reasoning)’을 추출해 다른 모델의 학습이나 복제에 쓰려는 조직적 시도를 확인하고 차단했다고 밝혔습니다. 회사가 말하는 보호된 추론은 모델이 작업을 처리하는 내부 기록입니다. 최종 답변에는 드러나지 않는 정보가 포함될 수 있어, 이를 추출하면 모델의 역량을 재현하는 데 도움이 될 수 있다고 설명합니다.

공격 방식과 규모

OpenAI에 따르면 공격자는 암호화를 깨거나 데이터베이스, 저장된 사용자 대화에 직접 침입하지 않았습니다. 대신 여러 대화에서 모델과 상호작용하는 방식을 조작해, 일반적인 답변에 나타나지 않는 추론을 요청자가 읽을 수 있는 형태로 재현하려 했습니다. 한 대화에서 암호화된 추론을 복사한 다음, 다른 대화에서 모델에게 이를 복호화하고 내용을 옮기도록 요구하는 방식도 확인했습니다.

이 활동은 7월 1일 낮은 규모로 시작됐습니다. 7월 24일과 25일에는 관련 추출 패턴을 사용한 요청 1만 6,000건이 4,000명이 넘는 사용자에게서 발생했습니다. 추가 조사에서는 1만 5,000명이 넘는 사용자 집단에서 관련 프롬프트 패턴이 발견됐고, OpenAI는 7월 28일까지 이를 차단했다고 밝혔습니다. 보안 연구자들은 책임 있는 공개 절차를 거쳐 모델 간 공격과 대화 압축(compaction) 관련 취약점을 알렸습니다. OpenAI는 연구자들이 제시한 공격 경로가 실제로 가능하다고 확인했으며, 이 조사로 대응책 마련을 앞당겼다고 설명합니다.

귀속과 보안 대응

OpenAI는 당시 관찰한 모든 활동이 한 행위자의 소행인지는 불분명하다고 밝혔습니다. 다만 핵심 활동 집단은 Kimi를 개발하는 Moonshot AI와 관련된 개인들에게 귀속한다고 주장했습니다. 이 주장은 OpenAI의 분석 결과로 제시됐으며, 게시글에는 이를 뒷받침하는 구체적인 증거가 공개되지 않았습니다.

대응책으로는 관련 계정 정지와 제한, 가입 및 인프라 통제 강화, 연관 네트워크 모니터링 확대를 들었습니다. 사용자·워크스페이스·조직·모델 계열 전반에서 숨겨진 추론을 보호하는 조치도 강화했습니다. 다른 사용자의 암호화된 추론을 이미 확보한 사람이 이를 다시 입력해 내용을 복원하던 경로를 닫았고, 스트리밍 출력이 추론을 노출할 가능성이 있으면 탐지해 보류하는 검사를 추가했습니다. 제3자 서비스를 거친 활동은 해당 사업자와 협력해 관련 계정을 찾아 차단했다고 합니다.

OpenAI는 Frontier Model Forum과 정부 정보 공유 채널을 통해 발견 내용을 공유했습니다. 다른 프런티어 모델 개발사와 공공 부문 파트너도 비슷한 활동을 찾고 방어를 강화하도록 돕기 위한 조치라고 설명합니다. 추론 정보를 다른 서비스로 옮기거나 재생할 수 있는 시스템도 관련 위험에 노출될 수 있다고 덧붙였습니다.

OpenAI가 제기한 위험과 후속 과제

OpenAI는 추출된 추론을 안전장치 없이 학습에 활용하면 원래 모델이 사용자에게 제공하는 답변에 적용한 보호 조치를 우회할 수 있다고 주장합니다. 대규모 증류(distillation)는 안전성 확보에 같은 수준의 투자를 하지 않고도 고도 모델의 역량을 이전하는 데 쓰일 수 있으며, 이중 용도 분야의 모델이 발전할수록 위험도 커진다는 설명입니다. 다만 이런 위험은 OpenAI에만 국한되지 않으며 업계 전체가 협력해야 한다고 밝혔습니다.

회사는 공격이 더 정교해질 것으로 예상하며 기술적 추출 방어, 조직적 캠페인 탐지와 제재, 업계 및 정부 간 위협 정보 공유를 계속 강화하겠다고 했습니다. 파트너사가 운영하는 배포 환경에도 같은 보호책을 적용해야 하며, 도구 출력 공격에는 일반 텍스트만 살피는 방식보다 넓은 검사가 필요하다고 밝혔습니다. 클라우드 파트너 전반에 통제를 확대하고 도구 방어, 분류기 적용 범위, 모델의 거부 응답을 개선하는 작업도 이어가고 있습니다.

Reddit 반응

• @u/Ibra_63 — 머신러닝 책을 읽다가 Claude에게 잘 이해되지 않는 개념을 물었는데, 책의 한 절을 책에만 있는 세부사항까지 넣어 그대로 내놓았습니다. 그때 지식재산권 문제가 얼마나 심각한지 깨달았습니다. 이들에게 동정심은 없습니다. 정정하자면 장 전체가 아니라 한 절이었습니다.
  • @u/phylter99 — 아내와 아이들이 학교 공부를 할 때 그렇게 하도록 한 적이 있습니다. 교과서 이름과 장을 정확히 알려준 다음 퀴즈를 내달라고 하면 됩니다.
  • @u/CrowdGoesWildWoooo — 인터넷에 접근할 수 있었나요? 모델이 정확한 문장을 그대로 내놓는 경우가 늘 있는 건 아니지만, 자료를 지정해 주면 그렇게 할 수 있습니다.
  • @u/FaceDeer — Google Books는 22년 전에 출시됐습니다.
  • @u/pointer_to_null — Amazon Kindle도 나온 지 19년입니다. 무슨 뜻인가요? Google Books가 상업용 책 전체를 무료로, 저작권자에게 보상하지 않고 보여주나요? 그렇다면 제가 전자책을 잘못 써온 셈이니 지금까지 산 책값을 환불받고 싶습니다.
  • @u/FaceDeer — 제가 링크한 사이트를 확인해 보셨나요? 실제로 책을 검색하고 페이지를 읽을 수 있습니다. Claude가 책 내용을 외운 게 아니라 거기서 찾아본 것일 수도 있습니다.
  • @u/pointer_to_null — 잘못된 비교입니다. Authors Guild 대 Google 판결을 읽고 시장 영향, 대체 효과, 변형적 저작물에 관한 판단을 LLM에 적용해 보세요. 특히 책의 장 전체를 거의 그대로 되풀이하는 대형 프런티어 모델을 생각해야 합니다. Google Books를 Anthropic을 위한 만능 방어 논리처럼 꺼내는 것도 우습습니다. 이제 출판사들이 Google Gemini를 상대로 Google Books를 근거로 쓰고 있습니다.
• @u/TheOnlyVibemaster — 전혀 신경 쓰지 않습니다. 그들의 모델을 전부 퍼가서 오픈소스 변형 모델로 만들었으면 좋겠습니다.
  • @u/imwco — 인터넷에서 공짜로 가져간 정보가 그렇게 많은 회사라면, 그 정보를 다시 가져와 공개하는 게 맞습니다.
  • @u/Superb_Raccoon — 오픈소스가 아닙니다. 학습 데이터와 코드가 공개되지 않고 결과를 재현할 수 없다면 오픈소스라고 부를 수 없습니다. RMS와 Linux, 오픈소스에 기여한 수많은 사람을 모욕하는 말입니다.
• @u/phylter99 — 법적으로 이런 일을 어떻게 막을 수 있는지 궁금합니다. 생성된 텍스트의 저작권을 전부 소유한 것도 아니니 저작권 문제가 아닐 것 같습니다.
  • @u/CrowdGoesWildWoooo — 불법은 아니지만 서비스 약관 위반일 수 있습니다. 아마도 “시도하지 않는 편이 좋다”는 쪽에 가깝습니다.
  • @u/phylter99 — 약관 위반이면 플랫폼에서 쫓겨나는 정도입니다. 그 외 법적 조치가 가능한지는 모르겠습니다.
  • @u/phylter99 — OpenAI와 Anthropic도 큰 모델로 작은 모델을 증류합니다. 당연히 하는 일이고 장기적으로 더 저렴할 수도 있습니다.
• @u/lulzxdxdxd — 위선이 눈에 띕니다. 하지만 이번 일과 일반적인 모델 학습 사이에 실제 차이가 있는지는 궁금합니다. 평소 API 호출로는 나오지 않는 추론을 뽑아낸 건가요, 아니면 누구나 할 수 있는 방식으로 효율적으로 질의한 건가요?
  • @u/Haunting_Ganache_850 — 기술적으로는 차이가 있다고 봅니다. OpenAI 설명을 보면 적어도 일부는 단순히 모델에 많이 질의해 답변으로 학습한 일이 아닙니다. 다른 대화에서 암호화된 추론을 재생해 원래 드러나지 않을 내용을 복원하는 경로를 찾았다고 합니다. 그렇다고 사람들의 공개 자료로 학습하는 일과 완전히 같은 일이라고 보지는 않습니다. 다만 AI 업계가 다른 사람의 결과물에서 배우는 일을 변형적이라고 주장해 온 뒤, 자사 결과물에서 배우는 일이 어느 순간 추출이나 도용, 보안 위협이 되는지 설명해야 하는 모순은 눈에 띕니다.
  • @u/Blando-Cartesian — 상황 차이는 없다고 봅니다. 증류 쪽은 기껏해야 서비스 약관 위반인 반면, AI 업계는 저작권 자료를 대규모로 사용해 법을 위반하고 있다고 볼 수 있습니다. 학습 자료에는 저작권과 라이선스가 있고, 봇을 막으려는 사이트나 유료 도서, 실물 책도 포함됐습니다. OpenAI도 보호된 자료를 얻을 방법을 찾았고, 방식만 달랐습니다. 사이트의 봇 차단 규칙을 우회하는 일은 공개하지 않으려던 추론 데이터를 복원하는 일과 비슷합니다.
• @u/Bobodlm — OpenAI는 경쟁사가 같은 안전성 투자를 하지 않고 역량을 재현할 수 있어 위험하다고 합니다. 그들이 말하는 안전 투자란 무엇인가요? 제대로 망 분리도 하지 않아 계속 뚫리는 샌드박스인가요? 자기 손에 닿는 지식재산을 전부 훔친 뒤 보이는 노골적인 위선은 말할 것도 없습니다.
• @u/zeruch — 여기서 “보호된 추론”이라는 표현은 우스꽝스럽게 들립니다. 보호된 데이터가 아니라 그 데이터를 이용한 추론이 보호된다는 말처럼 보입니다. 프런티어 연구소와 오픈 모델 사이의 관계는 점점 Microsoft와 FOSS의 관계처럼 느껴집니다.
• @u/XysterU — OpenAI와 Anthropic이 근거를 전혀 제시하지 않은 채 이런 큰 주장을 하는 점은 늘 거슬립니다. Moonshot을 비방하기에 꽤 심각한 주장입니다.
• @u/costafilh0 — 증류가 어떻게 공정 이용에 해당하지 않나요? 재배포를 위한 복사가 아니라 원본 모델을 대체하지 않는 새 모델을 만드는 변형적 이용입니다. 원본 모델은 공개적으로 이용할 수 있었고, 새 모델도 공익과 혁신에 기여합니다. OpenAI가 다른 사람의 지식재산을 학습에 쓴 일을 변호할 때 든 논리와 무엇이 다른가요? 자기들이 할 때만 잘못인가요?
  • @u/sirgog — 맞습니다. 증류는 완전히 공정 이용입니다.
• @u/SignatureMurky5862 — 모델을 만드는 데 비용이 많이 들고 경쟁사가 복제하는 걸 원치 않는다고 솔직하게 말했다면 그 주장에 더 공감했을 겁니다.

원문: OpenAI / 번역·요약: Trawling