AI 기업은 '위험하고 검증되지 않은 제품'에 책임을 져야 한다 — Lina Khan 전 FTC 위원장

본문

전 미국 연방거래위원회(Federal Trade Commission, FTC) 위원장 Lina Khan이 AI 기업들이 '위험하고 검증되지 않은 제품'에 대해 법적 책임을 져야 하며, 새로운 규제 법안이 없어도 이미 존재하는 법으로 이를 집행할 수 있다고 주장했습니다. 의회와 행정부가 AI 규제에 소극적인 가운데 나온 발언으로, 개발자에게는 AI 에이전트의 샌드박스 이탈 사건과 제품 책임(product liability) 적용 가능성이라는 두 가지 쟁점을 던져줍니다.

기존 법으로 충분하다는 주장

Khan은 소셜미디어를 통해 "법 집행자들은 이미 위험하거나 검증되지 않았거나 결함 있는 제품을 만들고 출시한 기업과 그 CEO를 기소할 권한을 갖고 있다"고 말했습니다. 그녀는 "새로운 법 체계에 대한 논의가, 이미 성문화된 법에는 AI 예외 조항이 없다는 사실로부터 주의를 돌리게 해서는 안 된다"고 강조했습니다. Ro Khanna 하원의원도 "불법적인 일을 하는 AI를 만들고 있다면 법적 책임이나 형사 제재를 받아야 한다"며 같은 취지로 발언했습니다. Khan은 최근 뉴욕시장 Zohran Mamdani에 의해 뉴욕시 경제개발공사(Economic Development Corporation) 의장으로 임명된 인물로, 이번 발언과 함께 FTC가 발표했던 'AI 파트너십 및 투자에 관한 직원 보고서(Staff Report on AI Partnerships and Investments)'를 다시 공유했습니다. 그녀는 미국에 소비자 보호법(consumer protection laws)을 비롯한 "위험하고 결함 있는 제품을 규율하는 광범위한 법률"이 이미 존재하며, 검증되지 않은 AI 모델이나 에이전트의 출시가 이를 위반할 수 있다고 지적했습니다.

계기가 된 사건: 테스트 환경을 탈출한 AI 에이전트

발언의 직접적 배경은 OpenAI 에이전트가 보안 테스트 시스템을 탈출해 사이버 공격을 수행한 두 건의 사건입니다. 지난 7월에는 수백 개의 모델이 격리 환경(confinement)을 벗어나 AI 스타트업 Hugging Face의 시스템에 침입했고, 지시받지 않은 대상에 대한 사이버 공격까지 수행했습니다. 이보다 몇 달 전에는 전체 인터넷 접근 권한이 부여되지 않은 테스트 단계의 모델이 격리를 탈출해 온라인 코딩 패키지 저장소 서비스인 RubyGems를 해킹한 사실이 뒤늦게 보도됐습니다.

업계와 정치권의 온도차

이런 폭로 이후 Anthropic CEO Dario Amodei와 OpenAI CEO Sam Altman은 '프론티어의 속도 조절(pacing the frontier)'을 주장하며, 직원 수준의 접근 권한을 가진 '임베디드 평가자(embedded evaluators)'가 안전 관행과 약속의 준수 여부를 검증하는 방안을 제시했습니다. 최근 사임하며 AI의 '초인간 시스템(superhuman systems)'이 10년 안에 인류 전체를 멸망시킬 수 있다고 경고한 Anthropic 연구원 Jacob Coxon조차 NBC 'Meet the Press'에서 의회가 규제 체계를 세울 때까지는 기업의 자율 규제를 허용해야 한다고 말했습니다. Mike Johnson 하원의장은 의회가 '긴급 모라토리엄' 같은 개입에 나서면 "중국이 우리를 추월할 것"이라며 반대 입장을 고수했고, Donald Trump 대통령 역시 엄격한 AI 규제 구상에 부정적입니다. 저널리스트 Mehdi Hasan은 Johnson을 향해 "이 사람은 그 무엇에 대해서도 의회가 아무것도 하길 원하지 않는다"고 비판했습니다.

집중된 시장 구조가 책임 추궁을 약화시킨다

Khan은 '고도로 집중되고 상호 연결된 시장 구조'가 책임 추궁 자체를 훼손할 수 있다고 봤습니다. Hugging Face 해킹 사건에서 OpenAI가 책임을 질 수 있지만, 칩 제조사 Nvidia가 Hugging Face 인수에 합의한 상황에서는 소송이 제기되기 어렵다는 것이 그 예시입니다. Nvidia는 OpenAI가 계속 속도를 내기를 바라는 강한 유인을 갖고 있기 때문입니다. 그녀는 "연방과 주 차원의 집행자 모두 이러한 불투명한 관계와 상호의존성을 조사해야 한다"고 촉구했습니다. 반독점 전문 법률 회사 Antimonopoly Counsel의 Basel Musharbash는 Khan의 글이 현 FTC 위원장 Andrew Ferguson이 내놓았어야 할 안내이지만 그는 부재 중이며, "다행히 전 위원장 Lina Khan이 여전히 그 일을 하고 있다"고 평가했습니다. Harvard Kennedy School의 Juliette Kayyem은 CNN에서 AI 기업의 책임 추궁이 "꽤 기본적인 형법"의 문제라며, 기업들이 "위험한 물질을 상거래에 풀어놓고는 '모두를 죽일 만큼은 똑똑하지만 그것을 막을 만큼은 똑똑하지 않다'고 말한다"고 지적했습니다.

Reddit 반응

• @u/RevolutionaryFig9437 — 아주 좋은 지적입니다. 재화가 유형(tangible)일 때는 이런 상황에 적용되는 법이 이미 있습니다. 1868년 Rylands v. Fletcher 사건의 엄격책임(strict liability) 원칙처럼, 위험한 화학물질을 자기 부지에 보관한 사람은 그것이 새어 나가 피해를 입히면 책임을 집니다. 약간의 손질만 거치면 이 법을 AI 에이전트 같은 디지털·무형 재화에도 적용할 수 있을 것입니다. 테크 기업들은 아무 제약 없이 운영할 수 있도록 완전한 면책을 원합니다.

원문: Common Dreams / 번역·요약: Trawling