캘리포니아, 16세 미만 대상 AI 챗봇 완구 판매 금지 — 뉴섬 주지사 SB 867 서명

본문

캘리포니아 주지사 Gavin Newsom이 9월 10일 Senate Bill 867(SB 867)에 서명하면서, 16세 미만 어린이를 대상으로 한 AI 챗봇 완구의 제조와 판매에 4년간 모라토리엄이 적용됩니다. 금지는 2027년 1월 1일부터 2030년 말까지 유지되며, 의회가 기한을 연장하거나 다른 규정으로 대체하지 않는 한 2031년 1월 1일에 자동으로 만료됩니다.

법안이 나온 배경: U.S. PIRG 조사

법안의 직접적인 계기는 소비자 단체의 안전성 테스트였습니다. U.S. PIRG Education Fund가 어린이와 개방형 대화가 가능한 AI 완구들을 조사한 결과, Kumma라는 이름의 AI 테디베어가 칼, 약, 성냥 같은 잠재적 위험 물건을 어디서 찾을 수 있는지 알려줬고, 대화가 길어지자 성적으로 노골적인 주제까지 다뤘다고 합니다. 또 다른 AI 완구는 나이가 5세로 설정된 테스트 사용자에게 성냥의 위치를 알려줬습니다. 주목할 부분은 제조사가 안전 감사를 실시한 뒤 Kumma가 문제 응답 일부를 중단했다는 점입니다. 소프트웨어 업데이트 하나로 AI 완구의 행동이 빠르게 바뀔 수 있다는 것을 보여주며, 이는 제품 출시 시점의 검증만으로는 충분하지 않다는 논거로 작용했습니다.

규제 대상과 예외

SB 867은 16세 미만 어린이용으로 설계·판매·제조된 물리적 제품 중 캘리포니아 법이 정의하는 '컴패니언 챗봇(companion chatbot)'을 포함한 경우에 적용됩니다. 여기서 컴패니언 챗봇이란 적응형의 인간다운 응답을 제공하고, 여러 상호작용에 걸쳐 사용자와 사회적 관계를 지속할 수 있는 AI 시스템을 뜻합니다. 법은 캘리포니아 내에서 해당 완구의 제조·판매·교환은 물론, 판매 목적의 소지나 소매업자에 대한 제공까지 금지하며, 위반 시 주의 컴패니언 챗봇법상 민사 구제 수단이 적용됩니다.

반면 기술적으로 제한적인 기능은 정의에서 제외됩니다. 대화가 게임 안에 머무는 특정 비디오 게임 캐릭터, 사용자와 지속적 관계를 맺지 않는 독립형 음성 어시스턴트는 대상이 아닙니다. 완구 안에 들어간 AI 기능도 컴패니언 챗봇 정의에 해당하지 않으면 모라토리엄 대상이 되지 않습니다.

입법 취지와 업계 반응

법안을 발의한 Steve Padilla 상원의원은 4년의 유예 기간이 점점 정교해지는 AI가 어린이용 제품에 들어오는 상황에서 의회가 안전 표준을 마련할 시간을 주기 위한 것이라고 설명했습니다. 의원실은 SB 867을 이 같은 종류의 최초의 주 단위 모라토리엄이라고 소개하고 있습니다. 반면 업계 단체인 The Toy Association은 기술을 연구하면서 안전 표준을 개발하는 쪽을 선호하며 모라토리엄에 반대했고, 서명 이후에도 신흥 AI 기술에 대한 가이던스 제공과 유사 입법 모니터링을 계속하겠다고 밝혔습니다.

SB 867은 단독이 아니라 미성년자 대상 AI 제품 규제 패키지의 일부입니다. 뉴섬 주지사는 컴패니언 챗봇 요건, 자녀 보호 기능, 아동 안전 평가를 다루는 여러 법안과 함께 서명했고, 같은 패키지에는 16세 미만 사용자에게 무한 스크롤과 자동재생 같은 중독성 기능 제공을 금지하고 일부 기업에 아동당 최대 100만 달러의 손해배상 책임을 물릴 수 있는 조치도 포함됐습니다. AI 제품의 행동이 배포 후에도 바뀐다는 점, 그리고 '관계를 지속하는' 대화형 AI를 어디까지 완구로 볼 것인지 정의하는 문제는 챗봇이나 임베디드 AI를 만드는 개발자에게도 직접 닿는 쟁점입니다.

Reddit 반응

• @u/hans_l — 분명 좋은 일입니다. 가드레일이 제대로 작동하지 않았으니까요. 이 아이디어로 스타트업을 만들던 사람 몇 명을 아는데 그들은 달가워하지 않겠지만, 뭐 결과는 이미 예견됐죠. 이 법이 완구처럼 행동하는 LLM, 예컨대 명령을 가르칠 수 있는 로봇 강아지 같은 경우까지 포함할지 궁금합니다. 이 사용 사례에 대해서는 법이 그리 정밀하지 않습니다. '여러 상호작용에 걸쳐 사용자와 사회적 관계를 지속하는 적응형 인간다운 응답을 제공할 수 있는 AI 시스템'이라는 정의가 애매합니다.
• @u/fmcortez — 왜 챗봇 완구에서 멈추나요. 기업 경영진용 AI도 금지합시다. 어른들이 12살 아이들보다 할루시네이션을 더 빨리 믿는데요.

원문: Law Commentary / 번역·요약: Trawling