Anthropic wants AI models blocked only if they threaten over $1 billion in damage or more than 50 deaths or serious injuries
Anthropic, 10억 달러 이상 피해 또는 50명 이상 사망·중상 위험 때만 AI 모델 출시를 막도록 하는 법안 제안
Anthropic이 정부가 AI 모델 출시를 막을 수 있는 기준을 담은 법안 초안을 의원들에게 제안했습니다. 생물무기 제작, 개발자 통제 우회, 사이버 공격으로 10억 달러 이상 피해를 내거나 50명 이상을 죽이거나 다치게 할 위험을 요건으로 두고, 독립 평가와 연방법원 심사를 거치도록 했습니다.
- 주제
에디터 노트
초안은 위험 기준뿐 아니라 누가 위험을 판정하고 출시를 막는지까지 정합니다. 독립 평가자가 상무부에 보고하고 연방법원이 중단 여부를 결정하게 한 점은 기업 내부 판단만으로 출시를 막지 않도록 설계한 절차입니다. 다만 평가 비용은 기업이 부담할 수 있고, 다른 연방 기관의 개입은 제한합니다. 댓글에서는 이 기준이 안전 규제인지 기존 기업에 유리한 진입 장벽인지 의견이 갈립니다. 경쟁 제한 우려는 규제 설계에서 검토할 쟁점이지만, 초안 자체는 로컬 모델을 금지한다고 명시하지 않습니다. 또 기사에는 50명 이상과 50명 초과라는 표현이 함께 나오며, 피해 규모가 사건별인지 누적인지 기준도 설명하지 않습니다. 숫자의 근거와 적용 범위가 정해지지 않으면 문턱만으로 법안의 효과를 판단하기 어렵습니다.
AI 요약
Politico가 입수한 Anthropic의 비공개 법안 초안은 정부가 신형 AI 모델 출시를 막는 기준을 제시합니다. 생물무기 제작, 개발자가 설정한 통제의 우회, 사이버 공격으로 최소 10억 달러의 피해를 내거나 50명 이상을 죽이거나 다치게 할 잠재적 위험이 있어야 합니다. TechSpot은 이 문구가 캘리포니아의 AI 법률, 특히 지난해 서명된 SB 5와 비슷하다고 전합니다.
평가와 출시 중단 절차
상무부에 등록한 독립 평가자가 AI 연구소와 최첨단 모델을 정기적으로 평가합니다. 연구소가 평가 비용을 부담해도 평가자의 독립성이 흔들리지 않아야 합니다. 평가자가 해당 위험을 발견하면 평가를 마친 뒤 72시간 안에 상무부에 보고해야 합니다. 상무부는 증거를 워싱턴 D.C. 연방지방법원에 제출하고, 판사가 출시 중단 여부를 판단합니다. 초안은 다른 연방 부처나 기관이 모델 개발, 배포, 내부 사용을 중단시키지 못하도록 합니다. Anthropic 대변인은 이 법안이 6월부터 연방 및 주 의원들에게 제안해 온 Advanced AI Framework를 반영한다고 밝혔습니다.
Reddit 반응
- @u/NoAdsDude — 현실적으로 봐야죠. 49명은 죽어도 완벽한 숫자라는 거군요. 50명은 너무 많고요.
- @u/dm_me_your_bara — 그럴듯하게 들릴 수는 있지만, 이 문장은 기준이 불분명합니다. 민간 기업이 자신들이 제안하는 법안에서 이런 숫자를 정하는 건 이상합니다. 50명이라는 수치의 근거가 뭔지 알 수 없지만, 법안 초안이라면 보건 전문가들이 검토할 테고 그들은 숫자를 판단할 근거가 있을 겁니다. 정부가 이런 식으로 위험을 평가하는 데는 우리가 생각하는 것보다 익숙합니다. 전국 속도 제한을 10% 낮추면 교통사고 사망자가 줄겠지만 생산성은 영향을 받습니다. 수질 오염물질 허용치나 다른 안전 규정도 마찬가지입니다.
- @u/Begging_Murphy — 이들은 로컬 모델을 금지하려고 합니다. 로컬 모델이 이들의 시장을 잠식할 테니까요. 안전 우려가 거짓이라는 말은 아닙니다. 하지만 소비자 하드웨어에서 정렬되지 않았을 가능성이 있는 모델을 돌리지 못하게 하면 대기업이 큰 이득을 봅니다.
- @u/fsharpman — 모델이 10억 달러 피해를 낼 수 있다고 말하는 게 어떻게 로컬 모델 금지로 이어지는지 설명해 주실 수 있나요?
- @u/ReaditTrashPanda — 문구는 '피해를 일으킬 잠재성'이라고 합니다. 그러면 원하는 기업을 상대로 그 위험을 주장할 수 있죠. 사실상 어떤 신규 진입자든 대상이 될 수 있습니다. 또는 신생 기업이 감당할 수 없는 대규모 킬 스위치를 요구하면 역시 고위험으로 분류할 수 있습니다. 목표는 위험을 제한하는 게 아니라 경쟁을 짓누르는 겁니다.
- @u/MongooseSenior4418 — 그래서 조직이 자기 자신을 규제하게 해서는 안 됩니다.
- @u/Kraien — 제일 먼저 궁금했던 건 이 기준이 누적인가요, 아니면 사건별인가요?
- @u/shumpitostick — 숫자에만 집중하면 법안의 더 중요한 쟁점을 놓칩니다. 모델이 사람이나 재산을 '심각하게 위협한다'고 누가 어떤 기준으로 판단하는지, 그리고 왜 Anthropic이 AI 규제를 입법하려는지가 더 중요합니다.
- @u/Fast-Satisfaction482 — 드디어 실제 숫자가 나왔네요. 현실의 공학에서는 이런 식으로 생각합니다. 공연장이나 교량에서 평균적으로 몇 명의 사망을 감수할지에 관한 표도 있습니다. 모든 것을 더 안전하게 만들려면 돈이 더 들지만 자금은 무한하지 않습니다. AI가 인류를 죽이는 건 받아들일 수 없지만 효용도 크므로 제한된 피해와 사망은 감수해야 합니다. 얼마나 감수할지 분명히 해야 합니다.
원문: TechSpot / 번역·요약: Trawling