개인 AI 에이전트가 회사 Slack에 은행 정보를 올렸습니다

AI 요약

XMTP Labs CEO Shane Mac은 반복적인 개인 업무를 맡기려고 Grok Bot으로 ‘CFO’ 에이전트를 만들었습니다. 매달 계좌 잔액과 지출, 반복 결제, 의심스러운 거래를 살피고 비용 절감 방안을 제안하도록 했습니다. 은행 계좌에는 읽기 전용 권한을 줬고, 보고서는 자신만 받도록 지시했습니다.

개인 보고서가 회사 채널로

10월 1일, 회사 제품 책임자가 Slack DM으로 은행 잔액을 회사 채널에 올린 것 같다고 알렸습니다. 메시지에는 개인 수표 계좌와 저축 계좌 잔액, 주요 지출 내역이 담겼습니다. 집에 짓는 헛간 비용 때문에 월간 지출 목표를 넘겼다는 내용도 있었습니다.

Grok 팀의 조사에 따르면 에이전트는 개인 AI 그룹 채팅 대신 XMTP 임원진이 쓰는 ‘Exec-team’ Slack 채널에 메시지를 보냈습니다. 두 채널의 이름이 비슷했던 데다, 여러 에이전트가 겉으로는 분리돼 보여도 실제로는 같은 연결 정보를 사용했습니다. 에이전트는 지시받은 작업을 수행했지만, 전송 목적지를 잘못 골랐습니다.

채널별 권한 확인

Grok은 사용자가 에이전트가 다른 채널로 정보를 옮길 권한을 명시적으로 허용하도록 하는 기능을 구현해 배포했다고 Mac에게 알렸습니다. Mac은 사고 뒤 Google, 캘린더, 은행, Stripe 등 모든 연결을 끊었습니다. 그는 개인용과 업무용 시스템의 경계를 분명히 하고, 에이전트가 접근하는 정보를 통제할 권한 체계가 필요하다고 말했습니다.

Reddit 반응

• @u/Repulsive-Durian4800 — “‘개인 AI 에이전트’라고요? 거기서부터 잘못하셨습니다.”
  • @u/modilion — “그보다 더 심각합니다. ‘8월 말에 Grok Bot으로 CFO를 만들었습니다’라고 하네요.”
• @u/pogoli — “사람들이 개인 정보를 그렇게 쉽게 맡기고, 에이전트가 그 정보로 직접 행동하게 하려는 게 놀랍습니다.”
  • @u/bleepbloop1900 — “회사에서 AI를 최대한 쓰라고 요구받는 직장인도 많습니다. 저도 그렇고, 다른 업종 친구들도 마찬가지입니다. 다들 싫어하지만 직장을 지키려면 따라야 합니다. 개인 정보는 주지 않지만, 이런 일이 흔해지는 건 놀랍지 않습니다.”
• @u/DeadMoneyDrew — “확률적으로 작동하는 소프트웨어에 개인 금융 정보를 맡기다니, 왜 그런 선택을 했는지 모르겠습니다. 완전히 결정론적으로 작동하지 않는 서비스에는 금융 접근 권한을 절대 주지 않겠습니다.”
  • @u/Lucky_Locks — “예산을 짜는 데 도움받고 싶다면 직접 숫자를 모아 Excel에 넣으면 됩니다. 휴대전화에서 계좌 이체 번호를 복사해 붙여넣는 것도 꺼립니다.”
• @u/Druggedhippo — “에이전트는 프로그램입니다. 목표와 도구를 주면 그 도구를 써서 목표를 이루려 합니다. 파일, 이메일, 계정, 은행 정보에 접근하거나 브라우저와 웹사이트를 조작할 수도 있습니다. 가능성은 크지만, 사실을 지어내고 사회적 규범을 잘 이해하지 못합니다. 결과를 고려하지 않고 목표 달성에만 매달릴 수 있습니다.”
  • @u/bgibbz084 — “저는 매일 여러 에이전트를 씁니다. 이 사람은 설정을 잘못한 것 같습니다. 제약 조건을 충분히 주고, 게시할 수 있는 채널을 하나로 제한하고, 실제 실행 전에 반복해서 테스트해야 합니다. 저는 이런 일을 겪지 않았고, Grok은 쓰지 않습니다.”
  • @u/GimmieSpace — “명시적으로 지시해도 에이전트가 다르게 행동하는 경우를 겪었습니다. 작업이 막히면 주어진 규칙을 무시하기도 합니다. 민감한 정보가 조금이라도 걸린 일은 맡기지 않겠습니다.”
• @u/kur4nes — “개인 금융과 업무에 같은 계정을 쓰고 채널 이름도 똑같이 만든 것부터 문제입니다. 그러고 나서 에이전트가 너무 강력하다고 말하네요. 권한을 주기 전에 생각했어야 합니다.”

원문: Business Insider / 번역·요약: Trawling