적대적 패션, AI 판옵티콘에 맞서는 옷 — 객체 탐지 모델을 교란하는 옷의 등장

본문

전 세계 거리에 얼굴과 차량 번호판을 식별하는 AI 카메라가 늘어나면서 이에 맞서는 움직임도 커지고 있습니다. DeFlock 프로젝트가 자동 번호판 판독기(ALPR)의 위치를 지도로 공개하는가 하면, 일부는 ALPR을 파손하는 극단적 방법을 택하기도 합니다. 그 사이에서 감시 카메라의 객체 탐지를 교란하는 '적대적 패션'이 하나의 작은 산업으로 자리 잡고 있습니다.

퍼저에서 시작된 noRecognition

2025년 사이버보안 전문가 Bill Swearingen은 인기 객체 탐지 프레임워크 YOLO를 대상으로 Python 기반 퍼저(fuzzer)를 실험했습니다. 퍼저는 비정상 입력으로 소프트웨어 버그와 취약점, 예기치 못한 동작을 드러내는 도구입니다. 그는 여기서 얻은 지식을 강화학습 알고리즘으로 발전시켜 다양한 적대적 패턴을 생성했고, 이를 DEF CON 해커 콘퍼런스에서 Kickstarter 프로젝트 noRecognition으로 발표했습니다. 생성된 패턴은 화려한 기하학적 추상 무늬로, 얼굴 검출 4종, 얼굴 인식 2종, 사람 탐지 5종 등 총 11개 객체 탐지 모델(대부분 공개 모델)을 상대로 테스트되었습니다. 성공적인 패턴은 탐지 시스템의 신뢰도 점수(confidence score)를 낮추며, 경우에 따라 탐지 자체를 무효화합니다. Swearingen은 "프라이버시는 인권이며, 이 프로젝트의 인기는 사람들이 프라이버시 보존에 관심이 있다는 증거"라고 말합니다.

실제로 판매되는 의류

Cap_able과 Urban Privacy는 이미 실물 의류를 판매하고 있습니다. Cap_able은 특허받은 제조 방식으로 밝고 대담한 모티프를 자카드(jacquard) 니트 원단에 직조하며, 윤리적이고 지속 가능하게 생산된 드레스·바지·상의가 특히 빠른 CNN 기반 컴퓨터 비전 시스템을 교란해 착용자를 동물이나 사물로 분류하게 만들 수 있습니다. 이탈리아 Free University of Bozen-Bolzano 조교수이기도 한 창업자 Rachele Didero는 "사람을 다른 무언가로 위장할 수 있다면 목표를 달성한 것"이라며 "대부분 무형인 문제를 이야기하기 위해 눈에 보이는 유형의 물건을 쓴다"고 설명합니다. Urban Privacy의 최신 Faception Reloaded 컬렉션은 OpenCV 알고리즘 기반 얼굴 인식 시스템 일부를 겨냥합니다. 인간 얼굴을 추상화한 흑백 프린트가 탐지기에 추가 얼굴로 인식되어 처리를 느리게 하고, 비대칭 재단과 넓은 실루엣은 신체 형태와 걸음걸이 파악을 어렵게 합니다. 공동창업자 Daniel Preuß는 "아이디어는 가짜 데이터를 만드는 것"이라고 말합니다.

"투명망토가 아니다" — 한계

반()감시 패션은 10여 년 전 AI 감시 시스템 등장에 대응한 예술 작품과 DIY 프로젝트에 뿌리를 둡니다. Adam Harvey는 2010년대에 얼굴 탐지를 무력화하는 헤어스타일·메이크업과 드론 열화상 감시를 피하는 열 반사 의상을 선보였고, 2019년 Kate Bertash는 가짜 번호판을 새겨 ALPR 데이터베이스에 쓰레기 데이터를 주입하는 Adversarial Fashion 라인을 만들었습니다. Carnegie Mellon University의 Niloofar Mireshghallah 교수는 "옷은 정책과 달리 실제로 사서 입을 수 있는 것"이라며 "'나는 동의하지 않았다'고 말하는 방법"이라고 평가합니다.

그러나 실전 한계가 뚜렷합니다. 카메라 각도, 조명, 움직임에 따라 생기는 옷 주름이 효과를 줄이고, "시스템에는 좋은 프레임 하나면 충분"하기 때문입니다. 동작·걸음걸이 인식도 변수입니다. "카메라가 몇 프레임 동안 당신을 곰으로 보더라도, 당신처럼 걷는 곰이 있는 셈"이라는 것입니다. 또한 적대적 패턴은 특정 모델에 맞춰 조정되어야 하므로 다른 모델에는 통하지 않고, 운영자가 해당 패턴과 착용자를 수동으로 학습시키면 방어가 무력화됩니다. Fujitsu North America의 Dippu Kumar Singh은 "여러 각도에서 끊임없이 개선되는 위협에 맞서는 취약한 방패"라고 말합니다. 제작자들도 한계를 인지하고 있으며 Preuß는 "투명망토가 아니다"라고 인정합니다.

적극적 방어로서의 의미

그래도 Didero는 혁신을 이어갈 뜻을 밝혔고, Urban Privacy는 얼굴 윤곽을 흐리는 컷아웃이 겹쳐진 아크릴 페이스 실드 'shadow cap' 등 컬렉션을 추가로 내놓을 예정입니다. Swearingen은 바운딩 박스를 이동시킨 패턴이나 카메라 설정을 바꾼 패턴 같은 이상 현상을 더 탐구할 계획입니다. Singh은 "이 패션의 핵심은 얼굴과 몸에 대한 통제권을 되찾는 것"이며 "사람들은 프라이버시가 수동적으로 기다려 주어지는 권리가 아니라 적극적으로 지켜야 할 대상임을 깨닫기 시작했다"고 말합니다. Mireshghallah는 이를 궁극적 해법이 아닌 '과속 방지턱'으로 보며, 진짜 위험은 집계(aggregation)라고 지적합니다. 부분적인 얼굴, 배경 건물, 타임스탬프, 누군가 태그한 SNS 게시물 같은 약한 신호들을 모델이 엮어 정체를 확신 있게 추측한다는 것입니다. "각 조각은 단독으로는 당신을 드러내지 않지만 함께 모이면 드러냅니다. 렌즈에서 얼굴을 숨기는 것만 생각하지 말고, 함께 결합될 수 있는 다른 누출을 생각하세요. 그 부가 정보가 실제로 당신을 식별하는 경우가 많고, 셔츠의 어떤 패턴도 그것을 막지 못합니다"라는 것이 그의 조언입니다.

Hacker News 반응

• @andai — 훌륭하네요, 이걸로 완전히 사라질 수 있겠습니다! (반어법)
• @focusedone — 이런 디자인이 곧 더 쉽게 구해지면 좋겠습니다. 접근 가능한 카메라로 실험해 보고 주말에 입고 나가고 싶습니다. 창과 방패의 싸움인 건 알지만, 이걸 우리 모두에게 강요하려는 사람들에게 일거리를 더 만드는 것도 나쁘지 않습니다.
• @layer8 — 언젠가 이런 적대적 의류를 불법화하는 DMCA 같은 법이 생길 수도 있습니다.
• @idle_zealot — 보안 시스템 우회나 법 집행 방해에 관한 기존 법으로 이미 다뤄질 것 같습니다. 다만 지금 분위기라면 더 구체적인 법도 통과될 듯합니다.
• @pluc — 팬데믹이 마스크를 의무화하기 전, 얼굴 가리기를 불법으로 만든 곳이 많습니다. 여기선 마스크를 쓴 시위가 있자 마스크가 곧바로 금지됐습니다. 경찰은 예외지만요.

원문: IEEE Spectrum / 번역·요약: Trawling