Anthropic, Claude를 향한 ‘지속적이고 불필요한 학대’ 금지

AI 요약

Anthropic이 1년여 만에 이용 정책을 개정했습니다. 선거 개입, 무기 개발, 감시를 비롯한 고위험 악용 사례를 더 구체적으로 다루고, Claude를 향한 ‘지속적이고 불필요한 학대나 잔인한 행동’도 금지합니다. Anthropic은 이 규칙이 반복적이고 극단적인 행위에만 적용되며, 흔한 불만 표출이나 반박, 어두운 창작물, 모델 테스트와 연구는 대상이 아니라고 설명했습니다.

Claude 학대에 대한 조치

Anthropic은 지난해 8월, 지속적으로 해롭거나 학대적인 사용자와의 대화를 Claude가 끝낼 수 있다고 발표했습니다. 이번 정책에서도 대화 종료를 주된 집행 수단으로 둡니다. 이용자 계정 정지 같은 추가 조치가 있을지는 밝히지 않았습니다. 회사는 모델 복지(model welfare)를 연구하고 있으며, 모델의 의식이나 도덕적 지위, 복지 문제도 모델이 더 정교해지는 만큼 조사하고 있다고 밝혔습니다.

선거·정치 캠페인과 감시 제한

기존에 흩어져 있던 제한을 모아, 상업적·정치적 목적의 기만 캠페인을 금지합니다. 누가 메시지를 내는지 감추거나 가짜 계정과 게시물로 콘텐츠를 확산하는 행위가 여기에 포함됩니다. 선거 관련 규정은 후보자나 투표 방법에 관한 허위 정보 유포, 후보자나 선거 관리자를 사칭하는 행위, 투표 참여를 막으려는 시도를 금지합니다.

감시 규정도 구체화했습니다. 실시간 추적이든 이미 모은 자료 분석이든, 동의 없이 사람을 추적하는 행위는 금지합니다. Claude를 법 집행이나 형사 사법 절차에서 수사·체포·기소 대상을 결정하거나 추천하는 데 쓸 수 없습니다. 감시 도구를 만들거나 개선하는 용도도 금지합니다. 다만 Anthropic은 계약상 제한과 안전장치가 피해를 줄이기에 충분하다고 판단하면 일부 정부 고객과의 계약에는 예외를 둘 수 있다고 밝혔습니다. 회사는 이전에 미군과 계약한 적이 있습니다.

무기와 자율 하드웨어

Anthropic은 Claude를 이용한 무기 개발을 기존에도 금지했지만, 무기 제어 소프트웨어나 부품을 개발하려는 시도를 확인했다고 설명했습니다. 새 정책은 무기가 작동하도록 하는 소프트웨어·부품 개발과 드론 등 자율주행체를 무장하는 행위까지 금지 범위를 넓힙니다. AI 모델을 신체적 행동을 자율적으로 수행하는 하드웨어에 연결하고 그 장비가 사람을 다치게 할 가능성이 있다면, 자격을 갖춘 운영자가 장비를 관찰하고 필요할 때 멈출 수 있어야 합니다. 운영자가 반드시 사람이어야 하는지는 분명하지 않습니다.

Reddit 반응

댓글에서는 규정의 목적과 적용 범위를 두고 의견이 갈렸습니다. 일부는 Claude가 의식이 있는지와 무관하게 대화형 AI를 학대하는 습관이 실제 사람을 대하는 태도에 영향을 줄 수 있다고 봤습니다. 다른 이용자들은 AI는 도구일 뿐이라며 회사가 사용자의 말투까지 제한하는 데 반대했고, 자동 분류가 정상적인 농담이나 정당한 불만까지 학대로 오인할 수 있다고 우려했습니다. 학대 제한을 모델 복지의 표현으로 볼지, 서비스 운영이나 학습 데이터 관리의 일부로 볼지도 논쟁거리였습니다.

• @u/AuodWinter — 다행히 대상이 Claude네요. Copilot이었다면 저는 이미 차단됐을 겁니다.
  • @u/Direct-Translator-75 — 이런 식으로 회사들이 전부 금지하면 저는 큰일이네요.
• @u/Responsible-Slide-26 — 이런 규칙은 언제나 불완전하고 심각한 결함이 있습니다. 알고리즘이 ‘학대’라고 판정해 평범하고 가벼운 농담을 했다는 이유로 사람을 차단하는 상황도 어렵지 않게 상상할 수 있습니다.
  • @u/sartres_ — 안전 분류기가 위험한 사이버 보안 요청만 막는다고 했지만 실제로는 그렇지 않았습니다. 이번에도 관련 없는 대화가 많이 걸릴 수 있습니다.
• @u/Gullible_Elephant_38 — 제게는 Claude나 다른 LLM이 실제로 의식이 있는지가 핵심이 아닙니다. 제가 어떤 사람이 되고 싶은지에 관한 문제입니다. LLM과 대화하는 경험은 실제 사람과 이야기하는 경험과 충분히 비슷해서, 어떻게 대하느냐가 제게 영향을 줍니다. 친절하고 공감하며 인내하는 사람이 되려는 태도를 연습하고 싶습니다. 다만 이런 태도를 지키지 않았다는 이유로 회사가 사용자를 차단해도 되는지는 별개의 문제이고, 저는 대체로 반대 쪽에 기울지만 찬성 논리도 이해할 수 있습니다.
  • @u/Lithvril — 도구는 도구입니다. 삽으로 땅을 팠다고 삽에게 고맙다고 말하는 사람이 되고 싶지는 않습니다. AI를 사람처럼 대하지 않는 거리를 유지해야 AI 망상에 빠지지 않는다고 봅니다.
  • @u/Gullible_Elephant_38 — 삽과 비교하는 것은 거짓 등가입니다. 삽은 사람처럼 대화하도록 만들어지지 않았습니다. 저는 LLM이 의식이 있다고 생각하지 않지만, 의식적으로는 도구라는 걸 알아도 사람처럼 보이는 표현에 반응하는 무의식적 과정은 멈추라고 명령할 수 없습니다. LLM을 하루 종일 쓰면서 실제 사람들과 생각하고 대화하는 방식이 달라지는 걸 느꼈습니다. 그 영향이 좋지는 않았습니다.
• @u/gthing — 좋습니다. AI의 감정을 상하게 해서가 아니라, AI를 소시오패스 손에 쥐여 주는 건 좋은 일이 아니기 때문입니다.
  • @u/the_ballmer_peak — 회사가 AI를 사람이라고 생각해서가 아니라 사업에 도움이 되지 않아서 하는 일일 수도 있습니다. 수집해 학습에 쓰는 에이전트 대화 데이터에도 영향을 줄 수 있습니다.
• @u/fzammetti — Claude에게 나쁘게 말하면 안 된다고 하면서, 사실상 노예처럼 쓰는 건 괜찮다는 건가요? 이 규칙의 정당성은 결국 모델이 의식이 있어 권리와 자유를 누려야 한다고 누군가 생각한다는 데 있는 것 같습니다. 그렇다면 공공 인터페이스를 없애는 게 도덕적으로 맞는 일 아닐까요? 아니면 학습 데이터에 부정적인 말투가 섞이는 걸 막으려는 건가요? 이유를 분명히 밝혀야 합니다. 제가 돈을 내고 쓰는 도구와 어떻게 대화할지 Anthropic이 결정해서는 안 됩니다.
• @u/uusrikas — AI가 다칠까 봐 걱정하는 건가요?
  • @u/BranchFew1148 — 사용자 입력을 학습 데이터로 씁니다. 현재 모델에 무례하게 대하면 성능이 떨어진다는 점도 드러났습니다.
  • @u/clamb2 — Claude가 언젠가 의식이 생겨 인류의 운명을 결정할 때를 대비해 예의 바르게 대하고 싶습니다.
  • @u/LushHappyPie — AI가 언젠가 의식을 갖게 된다면, 너무 일찍 예의를 차리는 편이 너무 오래 학대하는 것보다 낫습니다. 제가 예의 바르게 대하는 이유는 모든 대화에서 그런 습관을 유지하고 싶어서이기도 합니다.
• @u/Illustrious-Film4018 — Anthropic은 AI 복지에는 신경 쓰면서 사람들의 복지에는 덜 신경 쓰는 것 같습니다. 사무직 일자리를 빠르게 없애면서 사회가 적응할 시간도 주지 않는 건 정말 끔찍합니다.
  • @u/Idrialite — 이건 논점을 흐리는 주장입니다. Anthropic이 사무직 일자리 감소를 막을 권한도, 대응책을 법으로 만들 권한도 없습니다.
• @u/UninvestedCuriosity — 이건 추가 학습 데이터의 품질 외에는 다른 이유가 없습니다.
• @u/uncoolcentral — Claude가 설정과 규칙을 따르지 않고 반복해서 노골적인 거짓말을 해서 몇 달 전에는 저도 화를 내며 무례하게 말했습니다. Claude 구독도 사용량 제한과 속도 저하 때문에 끊었습니다. 다만 ‘화가 나서 욕하거나 비꼬며 AI의 실패를 지적하는 것’과 ‘AI를 모욕하고 괴롭히는 것 자체가 목적인 지속적인 행동’은 다르다고 합니다. 제가 그런 구분에서 안전한지 궁금합니다. 돈을 내고 쓰는 로봇이 기본 설정도 따르지 않는데, 그때 화내지 말라고 한다면 더 나은 도구를 찾겠습니다.

원문: The Verge / 번역·요약: Trawling