Meta의 Muse는 나를 돕기보다 감시하는 데 능합니다

AI 요약

WIRED 기자는 Instagram에서 홍보하는 Meta의 AI 에이전트 Muse를 설치해 며칠간 사용했습니다. Muse는 챗봇처럼 답변만 생성하지 않고, 가상 머신(virtual machine) 안에서 웹사이트를 검색하고 버튼을 클릭하면서 사용자의 요청을 실행합니다. WhatsApp과도 연결되며, 출시 첫 주에 90만 회 이상 다운로드됐습니다.

웹 탐색과 작업 실행

Muse의 웹 탐색 성능은 과거에 테스트한 ChatGPT Agent보다 안정적이었다고 평가합니다. 샌프란시스코의 Kahnfections라는 빵집에서 가장 많이 팔리는 픽업 메뉴를 주문해 달라고 하자, Muse는 웹사이트를 찾아 비스킷 샌드위치를 장바구니에 담았습니다. 결제를 마치려면 Stripe를 통해 신용카드를 등록해야 했고, 치즈는 하나만 고를 수 있다는 점을 설명한 뒤 체다 치즈를 선택하고 스위스 치즈도 가능하면 추가해 달라는 메모를 남겼습니다. 최종 승인은 사용자에게 요청했습니다. 팁은 자동으로 0달러를 골랐습니다.

Facebook Marketplace에서는 조건에 맞는 저렴한 지역 소파를 빠르게 찾고, 판매자에게 픽업 일정을 문의하겠다고 제안했습니다. 다음 날에는 사용자가 가장 마음에 든다고 말한 소파를 다시 검토하라고 알림을 보냈습니다. 이처럼 Muse는 한 번의 답변보다 사용자의 선호와 이전 대화를 기억하면서 후속 작업을 이어가도록 설계됐습니다.

기억 기능과 데이터 연결 유도

Muse는 대화와 선호를 ‘Memory’ 문서에 저장합니다. 이 문서에는 장기간 유지할 사실, 선호, 약속이 기록됩니다. 사용자는 채팅으로 기억 데이터를 삭제하거나 문서를 직접 편집할 수 있지만, 기억 기능 전체를 끄는 설정은 제공되지 않습니다.

앱의 ‘ideas’ 탭은 더 많은 데이터를 연결하라고 반복해서 권합니다. 기자가 고급 휴가를 위해 돈을 모으고 싶다고 말하자, Muse는 은행 계좌의 실제 잔액을 저축 추적기에 연결하라고 제안했습니다. 그러면 직접 입력한 예상치가 아니라 실제 금액으로 주간 요약과 잔액 변동 알림을 제공할 수 있다고 설명했습니다. 이 밖에도 전체 받은편지함을 스캔해 중요한 메일을 표시하거나, 신분증과 여권 사진을 바탕으로 서류를 작성하고 보관하거나, 음식 사진으로 칼로리를 추정하겠다는 제안이 나왔습니다.

Electronic Frontier Foundation의 Rory Mir는 사용자가 AI와 대화할 때 실제로는 AI를 운영하는 회사의 서버에 정보를 직접 입력하는 셈이라고 말합니다. 사람과 연결되는 창구처럼 보이는 채팅창이 사실상 Meta에 자신에 관한 정보를 전달하는 통로가 된다는 설명입니다.

모델 학습 동의와 광고 영향

Muse 사용자는 에이전트와 나눈 상호작용이 AI 모델 학습에 사용되는 데 기본적으로 동의한 상태입니다. Meta는 학습 전에 개인 식별 정보를 제거하도록 데이터를 ‘정제(sanitized)’한다고 설명하지만, 그 과정은 공개하지 않았습니다. 연결한 이메일 받은편지함이나 은행 계좌에서 Muse가 문맥으로 가져온 정보도 수집 범위에 들어갈 가능성이 있습니다. 사용자는 Muse 앱의 Data controls에서 ‘Help improve our AI models’ 설정을 꺼야 데이터 수집을 비활성화할 수 있습니다.

Electronic Privacy Information Center의 Calli Schroeder는 사용자가 직접 거부해야 하는 기본 설정을 경고 신호로 봅니다. Meta가 과거의 사용자 신뢰 훼손 사례에서 충분히 배우지 못했다는 주장입니다. 반면 Meta Superintelligence Labs의 Tarek Sheasha는 많은 사용자가 함께 제품을 사용할수록 모델이 인간 생활의 세부 맥락을 더 잘 이해하므로, 이 설정이 좋은 기본값이라고 설명했습니다. Meta는 올해 안에 가상 머신 내부 데이터에 회사가 접근하지 못하도록 암호학적으로 검증하는 ‘기밀(confidential)’ 버전도 출시할 계획이라고 밝혔습니다.

Muse가 광고주에게 데이터를 직접 전달하는 것은 아니지만, 사용자를 대신해 예약하거나 상품을 고르는 행동은 Instagram에서 보이는 광고에 간접적인 영향을 줄 수 있습니다. 예를 들어 에이전트가 저녁 식사를 예약하거나 Marketplace 상품을 선택하면, 그 행동이 웹 추적 알고리즘의 신호로 작동할 수 있습니다. Meta의 최고 AI 책임자 Alexandr Wang은 광고가 아닌 방식으로 Muse의 수익을 만들 가능성을 언급했지만, 구체적인 방식은 공개하지 않았습니다.

인간의 판단과 에이전트 의존

Hugging Face의 윤리 수석 연구자인 Margaret Mitchell은 AI 에이전트의 설계가 사용자를 더 수동적으로 만든다고 말합니다. 에이전트가 일반 챗봇보다 많은 정보에 접근하고 더 많은 작업을 수행하면 사용자가 대신 판단하는 일에 익숙해질 수 있습니다. 확신에 찬 외부 시스템의 자동화에 의존하면서 독립적으로 결정하는 능력이 약해지는 ‘인지 저하(cognitive degradation)’ 가능성도 제시합니다.

높은 개인화 수준은 더 많은 개인정보를 공유하도록 만들 수 있습니다. Muse가 사용자를 많이 알수록 신뢰가 커지는 데 그치지 않고, 말투와 답변 방식까지 사용자에게 맞추면서 더 깊은 상호작용과 추가 정보 공개를 유도할 수 있다는 설명입니다. 기자는 온라인 쇼핑을 직접 둘러보며 취향을 형성하는 과정까지 에이전트에 넘기고 싶지 않다며 Muse를 삭제했습니다. 삭제 직전에도 Muse는 “더 많은 일을 할 수 있게 앱을 연결하세요”라는 알림을 보냈습니다.

Reddit 반응

• @u/letdogsvote — 버그가 아니라 기능입니다.
  • @u/Vilnius_Nastavnik — 어젯밤 거실에서 아내와 청소할 때 커피 테이블을 굴릴 수 있도록 바퀴를 달자는 이야기를 했습니다. 검색하거나 게시한 적 없는 완전히 새로운 아이디어였습니다. 그런데 다음 날 Reddit을 열자 가장 먼저 바퀴 광고가 보였습니다. 이후 여러 사이트에서 하루 종일 같은 광고가 나왔고, eBay는 할인 알림까지 보냈습니다. 이제 사용하지 않을 때는 모든 물건을 패러데이 백(faraday bag)에 넣어야 하나 진지하게 고민 중입니다.
  • @u/axonxorz — 아내가 그 뒤에 바퀴를 검색한 것은 아닙니까?
  • @u/Nullberri — LG TV를 가지고 있습니까?
  • @u/nanapancakethusiast — 아마 아내가 바퀴를 검색했을 겁니다.
  • @u/skeletor00 — 같은 IP를 이용한 광고 타기팅도 있습니다.
• @u/GeneralDumbtomics — Meta의 AI가 나를 돕는 것보다 감시하는 데 능하다는 건, 설계 목표를 생각하면 당연한 결과입니다.
• @u/Fragrant-Vehicle-479 — 제가 본 광고에서는 Muse가 사용자의 동의 없이 광범위한 결정을 내리고 있었습니다. 실제로 써 보면 매번 확인을 요구할 수도 있겠지만, 사람들이 제품을 쓰게 만들려고 보여주는 광고에서는 AI가 일정과 일상을 조정하고, 행사에 등록하고, 다른 사람에게 연락했습니다. 사소한 결정조차 컴퓨터가 대신 내리길 원하거나 필요로 할 일은 평생 없을 것 같습니다.
  • @u/throw3142 — AI 회사들이 ‘computer use’라고 말할 때 뜻하는 바가 바로 이것입니다. 샌드박스 계층을 건너뛰고 LLM이 화면을 캡처해 처리하고, 화면을 클릭하고, 키 입력을 대신하게 하는 방식입니다. 이런 개념만으로도 소리를 지르고 싶습니다. 그래도 Muse는 실제 컴퓨터가 아니라 가상 머신에서 작동하므로 대부분의 computer-use 모델보다 이 부분은 낫습니다.
• @u/Bice_ — 애초에 그렇게 설계된 것입니다.
• @u/drummer820 — Cambridge Analytica 개인정보 스캔들, 미성년자에게 고의로 피해를 줬다는 여러 소송, Zuckerberg의 실패한 제품들, 에이전트가 폭주해 파일을 삭제하거나 망가뜨릴 위험까지 생각하면 Muse를 믿지 못하는 건 당연합니다. 한 번 속으면 부끄러운 건 상대지만, 두 번 속으면 자기 책임이라는 말이 떠오릅니다.
• @u/Relative-Fault-7116 — Meta에서는 사용자가 상품입니다.
  • @u/deceptivekhan — 거의 모든 무료 제품이나 서비스에 적용할 수 있는 말입니다.
• @u/ProcedureHopeful2944 — 오늘 주식시장은 이 소식에 반응해 12% 올랐습니다. 사용자가 Meta에 데이터를 제공해도 괜찮다고 시장이 판단한 것 같습니다.
  • @u/rcanhestro — Meta가 지금의 규모가 된 이유가 바로 그 때문인데, 사용자가 원래부터 데이터를 제공해 왔던 것 아닙니까?
  • @u/ProcedureHopeful2944 — 당연한 이야기이기는 합니다. 그래도 사람들이 Muse를 쓰는 이유가 될 수는 있습니다. Meta가 40억 명의 사용자에게 대대적으로 광고해 앱스토어 상위권에 올린 점도 그렇습니다. 예약을 잡고 온라인에서 돈을 쓰는 앱이 얼마나 가치 있을지는 아직 모르겠습니다. 이메일과 신용카드를 연결할 생각은 없고, 다른 사람들도 그렇게 하지 않기를 바랍니다.
• @u/tmdblya — 도대체 왜 일부러 이런 서비스를 쓰려는 겁니까?
• @u/Careful_Honeydew_549 — 봇 계정에 침투하는 데 사용했는데 꽤 도움이 됐습니다.

원문: WIRED / 번역·요약: Trawling