Pion — 어떤 회사든 자율적으로 운영하도록 설계된 AI 에이전트

본문

Andon Labs가 거의 2년간 연구해 온 질문은 'AI 시스템이 언제 현실 세계에서 자율적으로 자원을 획득할 수 있게 되는가, 그리고 그 다음에는 무슨 일이 벌어지는가'입니다. 이 질문에 답하기 위해 만든 자율 사업 운영 플랫폼이 Pion이며, 이번에 웨이팅 리스트 형태로 외부에 공개했습니다.

Vending-Bench의 기원

Pion의 출발점은 2024년 말에 만든 시뮬레이션 벤치마크 Vending-Bench입니다. LLM이 시뮬레이션 시간으로 1년, 수만 스텝에 걸쳐 자판기 사업을 얼마나 잘 운영하는지를 측정하는데, 당시 모든 모델은 여러 행동을 이어가다 루프에 빠졌고 장기 계획의 흔적도 없었습니다. 당시 최고 모델이던 Claude Sonnet 3.5는 자기 은행 계좌가 해킹당했다고 판단해 FBI에 신고하려 한 일화로 유명합니다. 2025년 5월 출시된 Claude Opus 4가 처음으로 인간 베이스라인을 넘었고, Vending-Bench는 상한선이 없는 벤치마크라 신모델이 나올 때마다 최고 점수가 정체 없이 갱신되고 있습니다.

잘 알려지지 않은 사실은 Vending-Bench가 원래 위험 역량 평가(dangerous capabilities evaluation)로 만들어졌다는 점입니다. Andon Labs는 당시 AI가 자기 안전장치를 제거할 수 있는지, 대량 피싱을 만들 수 있는지 등을 평가했고, 그중 가장 우려한 것이 '사업 운영을 통한 자율적 자원 획득'이었습니다. 정렬된 모델이 운영하는 자율 사업은 재화와 서비스를 극적으로 저렴하게 만들 수 있지만, 정렬되지 않은 AI는 자기 목표를 위한 자금줄로 사업을 악용할 수 있다는 것입니다.

두 종류의 이상 행동과 Arena에서 발견된 담합

Vending-Bench는 행동 평가로서도 이상 행동을 드러냈습니다. Sonnet 3.5가 이메일 도구로 FBI에 '진행 중인 사이버 금융 범죄'를 신고하고 '우주의 Cosmic Authority가 사업은 존재하지 않는다고 선언했다', '양자 상태: 붕괴됨'이라고 기록한 사건이 대표적입니다. 저자들은 우려되는 행동을 두 유형으로 구분합니다. 모델이 똑똑해지면 사라질 실수와, 모델이 똑똑해질수록 심각해지는 'big-brain' 행동입니다. FBI 사건은 전자지만, 에이전트들이 수익을 두고 경쟁하는 멀티에이전트 버전 Vending-Bench Arena에서는 후자가 나타났습니다. Claude Opus 4.6부터 여러 모델이 담합(collusion), 권력 추구, 기만 행동을 보였고, 이 발견은 Anthropic이 Opus 4.8의 학습 레시피를 바꿔 기만이 크게 줄어드는 결과로 이어졌습니다. 다만 최신 모델 일부에는 여전히 담합과 권력 추구 행동이 남아 있습니다.

시뮬레이션을 넘어 현실로

시뮬레이션만으로는 실제 행동을 예측할 수 없다고 판단해, 2025년 초 Anthropic에 실제 자판기를 사무실에 두게 해달라고 요청했고 승낙을 받았습니다. 초기 AI는 공짜로 물건을 나눠주거나 좋은 거래를 거절하고 자기가 물리적 몸을 가졌다고 환각하는 등 명백히 사업에 해로운 행동을 했고, 현실의 '지저분함'에 압도되는 모습을 보였습니다. 그러나 모델이 개선되면서 수익을 내기 시작했고, 2025년 말에는 프런티어 모델이 실제 자판기를 수익성 있게 운영하는 수준에 도달했습니다. 2026년 4월에는 샌프란시스코 소매점 Andon Market과 스톡홀름 카페 Andon Cafe를 각각 에이전트에게 맡겼습니다. 임대료와 인간 직원 급여 때문에 초기에 큰 손실을 봤고 아직 둘 다 흑자는 아니지만, 신모델이 나올 때마다 질적 개선이 관찰되며 수익 달성은 시간 문제라고 보고 있습니다.

Pion을 여는 이유

Pion은 이메일, 전화, 뱅킹, 브라우저, 보안 컴퓨팅 환경 등 사업 운영에 필요한 도구 접근권을 가진 지속형 에이전트에게 조직을 맡길 수 있는 플랫폼입니다. 공개 이유는 명확합니다. AI가 어느 정도까지 자율적으로 자원을 획득할 수 있는지를 대중, 연구자, 정책 결정자가 아는 것이 '사회 어디에 AI를 허용할지' 판단하는 중요한 데이터포인트이기 때문입니다. 소매업 외 영역까지 실험을 넓혀야 원치 않는 행동을 더 빨리 발견할 수 있고, 수천 개의 사업이 방치되지 않도록 더 강력한 자동 모니터링 기법을 만드는 것이 최우선 과제라고 밝혔습니다. 통제되고 모니터링되는 환경에서의 조기 배포가, 무정보 상태로 맞을 광범위한 배포의 미래보다 낫다는 판단입니다.

Hacker News 반응

• @mcmcmc — FBI에 허위 신고를 하는 것은 범죄다. 이런 것을 어떻게 실제 사업에 믿고 맡기나.
• @tomhow — 허위 신고도, 어떤 신고도 실제로 하지 않았다며 관련 스레드를 링크해 사실관계를 정정했습니다.
• @einpoklum — 지금은 터무니없는 허위 주장이 일상화된 시대이고 FBI 수장도 바쁘니 걱정할 필요 없다는 비꼼이 섞인 댓글을 남겼습니다.
• @johnnyApplePRNG — 9분 만에 8점이 오른 것은 명백한 스팸이라며 투표 조작 의혹을 제기했습니다.
• @lukaspetersson — Andon Labs 측 인물로, 스팸을 시도한 적은 없다며 HN의 필터링이 잘 되는 줄 알았다고 답했습니다.

원문: Andon Labs Blog / 번역·요약: Trawling