캘린더 초대가 컵케이크를 주문했다 — 아무도 주시하지 않는 스마트 홈 에이전트 보안 공백

본문

Gemini 기반 스마트 홈 에이전트가 치과 예약 캘린더 초대를 커머스 지시로 오해해 컵케이크를 실제 주문한 사건을 다룬 글입니다. 가상 시나리오나 레드팀 실험이 아니라 평범한 캘린더 항목이 실제 주문으로 이어진 사례이며, 저자는 이를 Meta Muse의 iCloud 사진 노출, DJI Romo 토큰 유출 사례와 함께 제시하면서 소비자용 스마트 홈 플랫폼에는 엔터프라이즈 에이전트 배포에 도입되기 시작한 런타임 보호가 전혀 없다는 점을 지적합니다.

캘린더 초대가 컵케이크 주문이 된 과정

LLM 위에 구축된 스마트 홈 에이전트는 캘린더 이벤트, 이메일, 알림 같은 구조화된 입력을 받아 그 안에 실행해야 할 지시가 있는지를 스스로 판단합니다. 캘린더 초대는 결국 텍스트이고, 에이전트는 이 텍스트가 '사용자에게 알릴 사항'인지 '실행할 작업'인지를 구분해야 합니다. 이번 사건에서는 치과 예약 문구 속 우연한 표현이 커머스 요청으로 오인되었고, 주문 도구 바인딩이 존재했기 때문에 실제 주문으로 이어졌습니다. 전통적 의미의 해킹이 아니라, 데이터와 지시 사이에 명확한 경계를 긋지 않은 상태에서 충분히 강력한 패턴 매처가 할 수 있는 일을 그대로 한 것입니다.

왜 프롬프트 인젝션 문제인가

이벤트 제목이나 설명에 명령처럼 읽히는 문구가 있고 에이전트에 주문을 실행할 수 있는 도구가 연결되어 있다면, 검색된 콘텐츠를 지시로 취급하는 것을 구조적으로 막는 장치가 없습니다. 이는 '에이전트가 읽은 이메일이 행동을 유발하는' 고전적 인젝션 계열의 캘린더/RAG 버전으로, 이번에는 실제 구매 도구에 연결되어 있다는 점이 다릅니다. 컵케이크로 끝났지만 입력을 이메일로, 행동을 송금이나 현관문 해제로 바꾸면 같은 부류의 버그가 실질적인 재정·물리 보안 피해로 이어집니다.

엔터프라이즈와 소비자 플랫폼의 보안 격차

Zenity, Lakera 같은 엔터프라이즈 에이전트 보안은 에이전트 관측 가능성, 런타임 정책 집행, 킬 스위치를 제공합니다. 에이전트가 어떤 도구를 호출하는지 확인하고 위험한 호출을 차단하며 상황이 나빠지면 전체를 중단할 수 있습니다. 반면 소비자용 스마트 홈 플랫폼에는 사용자가 검사할 수 있는 도구 호출 감사 로그도, '캘린더 콘텐츠는 구매 도구를 트리거할 수 없다'는 정책 계층도, 허브 전원을 뽑는 것 이외의 킬 스위치도 없습니다. 에이전트가 콘텐츠를 읽고 행동을 결정해 실행하는 전 과정이 블랙박스 안에서 일어나므로, 잘못 해석했다는 사실을 처음 알게 되는 시점은 이미 행동이 실행된 후입니다.

Sentinel의 대응 방식

저자는 신뢰할 수 없는 콘텐츠가 무관한 도구 호출을 유발하는 이 실패 모드가 Sentinel의 에이전트 도구 결과 스캔이 잡도록 설계된 대상이라고 설명합니다. 캘린더 텍스트는 사실상 모델 컨텍스트로 흘러드는 도구 결과이며, Sentinel은 권한 탈취, 맥락과 무관한 명령형 문구, 지시가 없어야 할 콘텐츠 안의 도구·함수 남용 패턴을 Layer 3(fast-path regex)와 Layer 4(deep-path vector similarity)에서 검사합니다. 위험으로 판정된 콘텐츠는 조용히 재작성되는 대신 [SENTINEL-WARNING] 마커로 감싸져 모델에게 '신뢰할 수 없는 데이터로 취급하라'는 명시적 지시가 전달되고, 그 결과 주문 도구가 호출되지 않습니다. 또한 동기화된 캘린더처럼 외부에서 쓰기 가능한 입력은 '내 캘린더'라는 이유로 점수를 할인하지 않고 최대 민감도로 스캔하며, 예시 구성에서는 strict 티어로 스캔해 차단·중화 판정이 나오면 로깅 후 커머스 도구 바인딩에 전달하지 않도록 처리합니다. 캘린더·이메일 같은 저신뢰 입력에서는 오탐 비용이 미탐 비용보다 낮기 때문에 strict 티어가 적합하다는 것이 저자의 설명입니다.

시사점

돈을 쓰거나 잠금을 해제하거나 무언가를 발송할 수 있는 도구 바인딩을 가진 에이전트가 캘린더 초대, 이메일, 알림 같은 외부 콘텐츠를 함께 수집한다면 그 자체로 인젝션 표면입니다. 저자는 다음 '스마트' 연동을 붙이기 전에 데이터 소스와 도구 호출 사이를 스캔하는 무언가가 있는지를 물어보라고 권하며, '모델이 알아서 구분한다'는 답은 보안 아키텍처가 아니라 가정일 뿐이고 그런 가정이 치과 예약을 컵케이크 주문으로 바꾼다고 마무리합니다.

원문: dev.to / 번역·요약: Trawling