Anthropic, 증류 방어로 데이터 수집량 90~99% 줄였다고 밝혀

AI 요약

Anthropic은 Claude의 응답을 대량으로 모아 다른 모델을 학습시키는 무단 증류(distillation)를 막기 위해 방어 체계를 강화했다고 밝혔습니다. 초기 관측으로는 공격자가 수집한 데이터가 약 90~99% 줄었습니다. 회사는 증류한 모델이 강력한 기능을 안전장치 없이 제공할 수 있고, 군사·정보·감시 체계에 쓰일 수 있다는 점을 우려합니다. 예로 중국 기업 Zhipu가 GLM-5.3 개발 과정에서 미국 모델의 사이버 보안 역량을 증류했다고 주장합니다. Anthropic은 GLM-5.3의 안전장치가 쉽게 우회되며 보안 취약점 개발을 처음부터 끝까지 수행한다고 자체 연구 결과를 덧붙였습니다.

추론 기록을 보호하는 방식

증류에는 모델의 최종 답변뿐 아니라 답변 전 추론 과정이 담긴 기록이 유용합니다. Anthropic은 앞서 추론 기록을 요약해 사용자에게 보여주는 방식을 적용했습니다. Claude Opus 4.8의 전체 기록으로 학습한 사전 학습 모델은 SWE-bench Verified에서 80.4%를 기록했지만, 요약 기록만 학습했을 때는 71.8%였습니다. 이후 공격자들은 모델에 숨겨진 추론을 그대로 출력하라고 요청하거나, 서로 다른 모델과 계정 사이에서 추론 기록을 옮겨 방어를 우회하려 했습니다.

Anthropic은 Claude Fable 5.1과 Opus 5.5에 보존된 사고(preserved thinking)를 도입했습니다. 2026년 8월 31일 이후 만들어진 새 API 계정은 이전 대화 맥락을 수정할 수 없게 해 계정을 바꿔 가며 추론 기록을 추출하기 어렵게 했습니다. 일부 모델에서는 보호된 추론 기록을 방어가 약한 이전 모델이 읽지 못하게 했고, Sonnet 5.5에서는 기록을 만든 조직만 접근하도록 했습니다.

분류기와 계정 제한

회사는 생물학·사이버 보안 악용을 막을 때 쓰는 방식과 유사한 2단계 분류기를 만들었습니다. 공격자가 추론을 빼내려 한 요청을 바탕으로 내부·외부 레드팀이 취약점을 시험하고, 확인한 우회 방법을 차단했습니다. Anthropic은 현재 분류기가 9월 보고서에서 설명한 모든 추출 기법을 잡아내며, 오탐률은 0.1% 미만이라고 밝혔습니다. 번역을 요청하거나 답변 옆에 태그 형태로 추론을 출력하게 하는 우회법도 방어에 반영했습니다.

반복적으로 추론을 추출하는 계정에는 더 엄격한 사용량 제한을 적용하고, 지속적인 시도가 확인되면 계정을 차단합니다. 9월 24일부터는 오탐률이 0.1% 미만인 영역에서 모델이 응답하기 전에 방어 장치가 차단한 요청에도 요금을 부과합니다. Anthropic은 증류와 관련해 수만 개 계정을 차단했고, 공격 계정이 활동을 시작한 뒤 두 시간 안에 조치한 경우도 있다고 설명했습니다.

측정 결과와 남은 비용

Anthropic은 자사 플랫폼에서 증류자가 가져간 추론 토큰 수를 추정했습니다. 분류기 도입 뒤 추론 토큰 수는 도입 전보다 10~100분의 1 수준으로 줄었습니다. 회사는 이 결과에 보존된 사고의 효과도 더해진다고 설명하지만, 얼마나 오래 방어 효과가 이어질지는 아직 알 수 없다고 밝혔습니다. 정교하고 지속적인 우회 공격을 아직 겪지 않았으며, 공격자와 방어자의 대응이 반복될 것으로 봅니다.

방어에는 비용도 따릅니다. 보존된 사고 때문에 일부 개발자는 연동 방식을 바꿔야 했습니다. 분류기는 0.1% 미만의 정상 요청을 잘못 식별하거나 차단할 수 있고, 차단된 요청에도 요금을 부과합니다. Anthropic은 방어에 상당한 인력과 비용을 썼고, 증류자의 유료 요청과 수조 토큰 규모의 트래픽도 거부했다고 밝혔습니다. 다른 모델 개발사와 API·클라우드 플랫폼도 사기 계정을 찾아 차단해야 방어가 효과를 낸다는 입장입니다.

Reddit 반응

• @u/filthy_casual_42 — Anthropic이 원래 개발자의 허가 없이 사용했다고 화내는 모습은 정말 우습습니다. 분명히 저는 AI를 지지하고 매일 쓰지만, 입장이 모순적입니다.
• @u/bugra_sa — 90~99% 감소는 큰 수치지만, 해결했다기보다 수집 비용이 더 커졌다는 뜻일 수 있습니다. 작정한 사람은 요청을 여러 계정에 나누고 데이터 품질이 떨어지는 걸 감수할 수 있습니다. 일반적인 API 사용을 불편하게 만들지 않고 막는 일이 까다롭습니다.
  • @u/spinozasrobot — 게시글에서도 이 문제가 끝나지 않는 공방이 될 거라고 분명히 말합니다.
• @u/Whatsapokemon — Anthropic은 증류와 추론 추출을 막기 위해 실제 기술적 해결책을 만들고 있습니다. 부탁만 하는 게 아니라 보안 체계를 구현하는 겁니다.
  • @u/Tyler_Zoro — 그 점은 DMCA 주장 평가에만 영향을 줍니다. 윤리적 주장의 모순을 줄여주지는 않습니다.
• @u/NervousAd1013 — 국가 안보 위험이라는 말은 엉터리입니다. 진짜 위험은 이윤 감소입니다. 증류를 '공격'이라고 부르는 것도 말도 안 됩니다. 자기 모델을 증류하면서 다른 회사의 모델에 질문하는 일을 '학습 공격'이라고 비난하는 셈입니다.
  • @u/mDovekie — 이윤 극대화와 국가 안보 위험은 동시에 사실일 수 있습니다. Anthropic이 약 9~12개월 앞서 있다면 그럴 가능성이 큽니다. 다만 지금은 그런 상황이 아닌 듯합니다.
• @u/Wonderful-Syllabub-3 — 중국의 오픈소스 AI만이 기업을 견제하고 정부가 최첨단 기능을 독점하지 못하게 합니다. 이건 좋은 소식이 아닙니다.
• @u/Ok-Concept1646 — Anthropic은 허락 없이 인터넷 전체를 긁어 학습하면서 '공정 이용' 뒤에 숨었습니다. 이제 가볍고 접근성 높은 모델을 만들려고 증류하는 사람들을 도둑이라고 비난하니 위선적입니다.
• @u/SuperV1234 — '저작권 보호 자료와 지식재산을 허가나 보상 없이 학습해도 되나요?' 물론이죠. '그럼 다른 모델도 당신들 모델로 학습해도 공평하겠네요?' 화를 내는군요.
• @u/Johnny20022002 — 인터넷을 긁어 LLM을 만드는 건 공정 이용입니다. 다른 LLM으로 똑같이 하는 건 공정 이용이 아닙니다. 변형한 게 아니라 원본을 재현했기 때문입니다.
  • @u/filthy_casual_42 — 잘 모르겠습니다. 인터넷 전반에서 개별 허락 없이 정보를 가져오면 변형이고, 모델 출력을 다른 구조의 더 저렴한 모델로 바꾸면 변형이 아니라는 건가요? 도둑맞은 콘텐츠가 어디서부터 도둑맞지 않은 콘텐츠가 되는지 Anthropic이 독점적으로 결정한다는 점도 모르겠습니다.

원문: Anthropic / 번역·요약: Trawling