반발하는 주민들에 맞서 Flock은 AI로 지지 여론을 만드는 단체의 도움을 받았습니다

AI 요약

테네시주 녹스빌(Knoxville)에서 Flock Safety의 자동 번호판 인식 카메라(license-plate reader)를 둘러싼 논쟁이 격화하던 7월, 주민 Ashley Smith는 들어본 적 없는 비영리단체 Neighbors for Strong Communities로부터 문자 메시지를 받았습니다. 단체는 Flock 카메라를 지지하는 의견을 지역 공직자들에게 보내 달라고 요청했고, 인공지능(artificial intelligence)을 사용해 이메일 초안을 작성해 주겠다고 제안했습니다. 그러나 Smith가 확인한 조건은 지지 의사를 밝혀야만 해당 문안을 받을 수 있다는 것이었습니다.

■ 지지한다고 답해야만 받을 수 있었던 AI 서한

Smith는 번호판 인식 카메라에 반대한다고 표시한 상태로 양식을 작성했을 때에는 이메일 초안을 받지 못했습니다. 이후 지지하는 것처럼 답변하자 카운티 위원들에게 보낼 초안이 제공됐습니다. 초안에는 AI가 사용됐다는 사실이나 Neighbors for Strong Communities와의 연결 관계가 표시되지 않았습니다. Smith는 제공된 문안을 그대로 보내는 대신, 이 캠페인이 은밀한 홍보 활동이라고 지적하는 자신의 이메일을 선출직 공무원과 지역 블로그에 보냈습니다.

Smith는 “이 감시 기술을 넘어선 이해관계자들이 표를 얻기 위해 여러분을 속이는 데 이렇게까지 힘을 쓴다면, 우리의 모든 이동 기록을 담은 데이터베이스를 가지고는 무엇을 하겠습니까?”라고 말했습니다. 또한 “사람들을 조종하고 가짜 이웃을 만들어내는 회사가 녹스 카운티(Knox County) 주민의 데이터 정책, 감사 로그(audit log), 개인정보를 존중할 회사라고 믿기 어렵습니다”라고 주장했습니다. Flock 카메라를 둘러싼 핵심 쟁점이 감시 범위뿐 아니라, 운영 주체가 주민과 공공기관에 정보를 얼마나 투명하게 제공하는지에도 있다는 설명입니다.

■ 지역 단체처럼 보이도록 설계된 연락 방식

문자 메시지는 녹스빌 지역 번호로 발송됐지만, Neighbors for Strong Communities는 6월 워싱턴 D.C.에서 설립됐습니다. 웹사이트의 ‘About’ 페이지에는 이사회나 직원 명단이 없었지만, 법인 설립 서류에는 정치 컨설턴트 여러 명과 전직 등록 로비스트 최소 한 명이 이사로 기재돼 있었습니다. 단체의 녹스 카운티 관련 페이지에는 손가락이 여섯 개인 남성의 이미지도 사용됐습니다. 이 이미지는 AI 생성 이미지의 특징으로 언급됐지만, 단체는 Flock 지지자들이 “실제 사람들”이라고 밝혔습니다.

Neighbors for Strong Communities의 이사 중 최소 두 명은 선출직 공무원에게 보낼 편지를 AI로 생성하는 회사 Influent의 설립에도 관여했습니다. 녹스빌 주민들에게 전달된 문자 메시지는 주소에 ‘influent’라는 단어가 들어간 URL로 연결됐습니다. 다만 Influent와 Flock 사이에 사업 관계가 있는지는 확인되지 않았고, Influent는 논평 요청에 답하지 않았습니다. 단체가 제공한 주소는 한때 워싱턴 D.C.의 이탈리아 식당과 공유됐으며, 이후 캘리포니아주 산타모니카의 UPS 매장과 공유하는 주소로 변경됐습니다.

Smith는 지역 보수 정치에서 오랫동안 활동했기 때문에 실제 지역 풀뿌리 단체라면 들어봤을 것이라고 생각했지만, 이 단체의 이름은 처음 접했습니다. 그녀가 지역 정치 페이스북 페이지에 조사 결과를 공유한 뒤에는 최소 9명의 주민이 자신들도 같은 문자를 받았다고 댓글을 남겼습니다. 캘리포니아에서도 Paramount Skydance와 Warner Bros. Discovery의 합병을 지지하는 메시지가 로스앤젤레스 지역 번호로 발송됐습니다. 두 캠페인 모두 주민에게 몇 가지 질문을 제시하고, 답변에 따라 공직자에게 보낼 AI 생성 이메일을 작성하는 방식이었습니다.

■ 계약과 개인정보 보호를 둘러싼 주민 반발

Neighbors for Strong Communities가 개입한 시점은 Flock에 정치적으로 불리한 때였습니다. Flock은 녹스 카운티 보안관실(Knox County Sheriff’s Office)로부터 이미 200만 달러가 넘는 금액을 받았지만, 카운티 위원들은 자신들이 계약 승인을 요청받은 적이 없다고 말했습니다. 좌우 진영의 주민들은 개인정보 보호 조항과 함께, Flock 카메라 네트워크가 일부 법 집행관에 의해 전 연인을 감시하는 데 악용됐다는 이력에 우려를 제기했습니다.

전직 광역 카운티 위원 Larsen Jay는 Flock 카메라가 필요하다는 내용의 주민 이메일 8건을 공유했습니다. 이메일은 서로 완전히 동일하지는 않았고 일부는 개인적인 세부사항도 포함했지만, 문장과 표현이 비슷해 Jay는 이를 사실상 서식 편지(form letter)로 보았습니다. 이 이메일을 보낸 주민 두 명은 실제로 녹스빌 지역 주민이며 자신들이 지지 이메일을 보냈다고 확인했습니다. 다만 그중 한 명은 이후 입장을 바꿨다고 밝혔습니다. Jay는 대면 대화에서 Flock 반대 의견이 99대 1 정도였다고 말하며 “이건 분명한 홍보 캠페인입니다. 제 주민들을 이용하지 마십시오. 그것이 이 상황을 깨달았을 때의 느낌이었습니다”라고 했습니다.

Free Press의 공동 최고경영자(co-CEO) Craig Aaron은 Flock에 대한 진정한 풀뿌리 지지의 급증을 보여주는 징후가 없다고 말했습니다. 그는 “이건 매우 전형적인 아스트로터핑(astroturf) 프로젝트입니다. 이웃도 없고 공동체도 없습니다. 가짜 풀뿌리 운동처럼 보이게 만든다는 점이 아스트로터핑의 핵심입니다”라고 주장했습니다. Aaron은 Flock을 “사람들이 감시당하는 것을 싫어해 가로등 기둥을 전기톱으로 자를 정도로 인기 없는 기술”이라고도 표현했습니다.

■ ‘실제 주민’과 ‘가짜 풀뿌리’ 사이의 쟁점

캠페인이 끝난 뒤 Neighbors for Strong Communities는 웹사이트에서 입장을 밝혔습니다. 단체는 주민들이 공직자에게 보낼 글을 작성하는 데 “기술”이 사용됐지만, AI가 생성한 초안은 모두 주민이 검토하고 승인했다고 설명했습니다. 단체는 “기술은 이 캠페인에서 역할을 했지만 기술 자체가 목적은 아니었습니다. 이들은 실제 경험을 가진 실제 사람들입니다. 최종적으로 모든 정책 입장에 동의하든 그렇지 않든, 자신들의 공동체를 형성하는 결정에 그들의 목소리가 반영될 자격이 있습니다”라고 썼습니다.

그러나 반대 의견을 제출한 주민들의 응답을 단체가 실제로 어떻게 처리했는지는 분명하지 않습니다. 단체는 반대 의견을 “경청했다”고 밝혔지만, 구체적인 처리 방식에 대해서는 추가 설명을 하지 않았습니다. Flock과 Neighbors for Strong Communities는 취재진의 논평 요청에도 응답하지 않았습니다. 단체는 웹사이트에서 Flock이 공공 안전 기술에 대한 경험을 제공했고, 자신들은 주민 참여 캠페인을 독립적으로 설계·관리해 녹스 카운티 주민들이 지역 의사결정권자에게 경험을 직접 전달하도록 도왔다고 설명했습니다. 하지만 캠페인 자금의 출처는 공개하지 않았습니다.

이 단체의 활동은 이후 Paramount Skydance와 Warner Bros. Discovery의 합병 제안에 참여하면서 다시 주목받았습니다. 합병 반대자들은 캘리포니아에서의 활동이 기업이 풀뿌리 지지를 꾸며내는 아스트로터핑의 특징을 보인다고 비판했습니다. 한 합병 반대자가 작성한 비판 의견을 AI 텍스트 생성기가 지지 의견으로 바꾼 사례도 있었고, 단체 대변인은 이를 최근 시스템 업그레이드 때문이라고 설명했습니다.

미시간대학교(University of Michigan) 로스 경영대학원(Ross School of Business)의 기업 홍보 연구자 Thomas Lyon 교수는 실제 시민이 편지나 이메일을 작성했다고 하더라도 캠페인은 아스트로터핑으로 분류될 수 있다고 말했습니다. AI가 널리 쓰이기 전에도 기업 홍보 회사들은 시민에게 전화를 걸어 공직자에게 보낼 편지를 대신 작성해 주곤 했다는 설명입니다. Influent는 자사 웹사이트에서 일반적인 아스트로터핑 서식 편지는 버려지지만, 자사의 모든 편지·게시물·전화·메시지는 발신자 개인의 진짜 목소리를 반영하도록 맞춤 제작된다고 홍보했습니다.

하지만 Andy Fox 카운티 위원은 Flock을 지지하는 “서식” 이메일을 수십 건 받았다고 말했습니다. Fox는 “저에게는 옳게 느껴지지 않습니다”라고 했습니다. 결국 녹스 카운티 위원회는 지난달 Flock 계약을 취소하는 표결을 진행한 가장 최근의 지방정부 기관이 됐습니다. 이 사례는 AI가 주민 의견 작성 과정을 빠르게 확장할 수 있다는 점과, 실제 주민이 자신의 의사를 승인했다는 사실만으로 캠페인이 진정한 풀뿌리 조직화가 되는지는 별개의 문제라는 점을 함께 보여줍니다.

■ Reddit 반응

• @u/Zwierzycki — 망중립성 규정에 반대하던 댓글들도 대부분 컴퓨터가 작성했던 것으로 기억합니다.

• @u/Fragrant_Fox_5056 — 사람들은 감시받고 싶어 하지 않습니다. 이런 헛소리로 대중의 지지를 얻을 수는 없습니다. 속아 넘어가는 사람들은 무능한 소아성애자를 아직도 지지하는 사람들과 같은 부류뿐입니다.

• @u/threehundredthousand — AI와 감시 기업은 홍보를 정말 끔찍하게 합니다. 일반 사람들에게는 다행인 일이지만, 수천억 달러를 조달하면서 문제를 해결하기는커녕 더 악화시키는 제대로 된 홍보팀 하나 갖추지 못하는 것이 어떻게 가능한지는 궁금합니다.

• @u/JFConz — 생계를 유지한다는 명목으로 악한 일을 돕는 사람들이 너무 많습니다.

원문: The Intercept / 번역·요약: Trawling