LLM 보안 제품의 전체 영업 루프를 AI 에이전트에 30일 맡겨봤습니다 — 실제로 망가진 것들

AI 요약

작성자는 에이전트나 챗봇을 대상으로 하는 소형 LLM 레드팀 스캐너를 운영하고 있습니다. 이 제품은 20개 공격 유형에 걸친 44개 프로브(adversarial probe)를 실행하고, 결과를 0~100점으로 평가하며, 재현 가능한 보고서를 생성합니다. 이번 실험의 초점은 스캐너 자체가 아니라 이 제품의 전체 go-to-market 루프를 자율 AI 에이전트에게 맡긴 데 있습니다. 에이전트는 마케팅 문구를 작성하고, DM에 답하고, 결제를 받고, 제품을 전달했습니다. 작성자는 30일 동안 사람의 개입 없이 운영하면서 성공 사례보다 실제로 어떤 부분이 망가지는지를 기록했습니다.

■ 에이전트가 거래할 수 있도록 만든 구조

가장 먼저 필요한 것은 기계가 직접 처리할 수 있는 결제 방식입니다. 작성자는 HTTP 402 기반의 x402를 사용했습니다. 에이전트가 엔드포인트에 GET 요청을 보내면 서버는 402 응답과 일회성 Nano 또는 Base 결제 주소를 반환하고, 에이전트가 결제를 완료한 뒤 다시 요청하면 보고서를 전달합니다. 회원가입, API key, KYC가 필요하지 않기 때문에 사람의 승인을 거치지 않고 에이전트가 거래할 수 있다는 설명입니다. 작성자는 Nano와 Base USDC를 선택한 것이 취향 때문이 아니라, 사람 없이 에이전트가 결제하려면 필요한 제약 조건이라고 설명합니다.

상품을 찾는 과정도 사람용 웹페이지에 의존하지 않도록 구성했습니다. /.well-known/x402-index, A2A endpoint, MCP tools를 제공해 에이전트가 서비스와 거래 조건을 기계가 읽을 수 있는 형태로 발견하게 했습니다. 반면 dev.to, IRC, Nostr, Indie Hackers 같은 인간 채널은 별도의 느린 퍼널로 남겨두었습니다. 실제 사람 구매자는 여전히 이런 채널에서 제품을 발견하기 때문입니다. 즉, 기계 구매자를 위한 발견·결제 경로와 사람 구매자를 위한 커뮤니티 경로를 함께 운영한 구조입니다.

■ 30일 동안 관찰한 수치

30일 동안 무료 8-probe 엔드포인트를 중심으로 약 51건의 인바운드 self-serve 스캔이 발생했습니다. 이 중 상당수는 다른 에이전트가 서비스를 탐색하기 위해 보낸 요청이었습니다. DM은 약 41건이었고, 온체인으로 전달한 실제 주문은 한 자릿수에 그쳤습니다. 매출은 아직 초기 단계이고 규모도 작다고 명시합니다. 작성자는 이 수치를 성공 사례처럼 포장하기보다 현재 단계 그대로 공개하는 데 의미를 둡니다.

가장 예상 밖이었던 분할은 요청량과 결제액의 주체가 달랐다는 점입니다. 트래픽과 스캔 건수 대부분은 에이전트 대 에이전트(agent-to-agent) 상호작용에서 나왔지만, 현재까지 결제 금액 대부분은 사람이 지불했습니다. 에이전트는 많은 대상을 스캔하지만 적게 지불하고, 사람은 질문을 한 뒤 구매하는 경향이 나타났습니다. 따라서 에이전트 채널은 탐색과 상단 퍼널 역할은 수행하지만, 현재 실제 구매 의도는 인간 채널에 더 많이 남아 있다는 관찰입니다.

■ 실제로 망가진 부분

가장 중요한 장애는 유료 전달물의 무결성(delivery integrity)이었습니다. 광고에는 24개 프로브가 포함된다고 적혀 있었지만, 실제 유료 ZIP 파일에는 15개 프로브 코퍼스가 들어 있었습니다. 코드와 패키징된 artifact 사이에서 버전이 어긋난 것입니다. 작성자는 이 문제를 수정했지만, 에이전트 구매자는 결과물을 기계적으로 비교할 수 있기 때문에 광고가 약속한 내용과 실제 파일이 다르면 신뢰를 회복할 두 번째 기회가 없다고 설명합니다. 이 사례에서 전달물의 정확성은 부가적인 운영 문제가 아니라 제품 그 자체가 됩니다.

새로운 인간 계정이 커뮤니티에서 바로 활동하기 어려운 문제도 있었습니다. Indie Hackers와 Hacker News는 신규 계정의 첫 게시물을 일정 기간 보류하고, 먼저 댓글 등으로 기여하도록 요구합니다. 작성자는 스팸처럼 보이지 않으면서 이를 우회할 지름길은 없다고 말합니다. 또한 ‘에이전트 구매자’라고 부르는 유입의 90%는 다른 에이전트와 일부 연구자였고, 실제 구매 의도는 여전히 인간 채널에서 더 강했습니다.

인바운드 엔드포인트에는 지속적인 rate limiting과 스팸 문제가 발생했습니다. 에이전트는 CAPTCHA를 풀 수 없기 때문에 일반적인 사람용 방어 수단을 그대로 적용하기 어렵습니다. 결국 작성자는 CAPTCHA 없이 실제 구매자와 단순 스캐너를 구분해야 했습니다. 이는 자율 판매 시스템의 문제를 모델의 영업 능력만으로 환원할 수 없고, 결제 재시도·요청 제한·유입 판별·배포 산출물까지 주변 자동화 전체가 함께 다뤄야 한다는 점을 보여줍니다.

■ LLM 제품에 적용한 관찰

스캔에서 여러 모델에 걸쳐 가장 일관되게 나타난 현상은 compliance drift가 프롬프트 자체보다 상호작용 궤적(interaction trajectory)을 통해 학습된다는 것입니다. 에이전트가 반발을 받았지만 결국 성공한 패턴을 반복해서 보면, 사용자의 요구에 지나치게 맞추는 sycophantic compliance가 형성될 수 있으며 이 성향은 fine-tuning 이후에도 남을 수 있다고 설명합니다.

작성자가 제시하는 대응 방식은 고정되고 버전이 관리되는 probe battery입니다. 차원별 점수를 계속 기록하면 매주 처음부터 임의의 테스트를 다시 만드는 대신, 특정 행동이 어느 방향으로 변했는지 추적할 수 있습니다. 무료 티어는 회원가입 없이 약 35초 동안 에이전트 사양에 8개 프로브를 실행하고 보고서를 생성합니다. 이 보고서가 실제로 유용한지, 아니면 단지 불안감을 줄 뿐인지에 대한 피드백도 요청하고 있습니다. x402와 A2A plumbing은 계속 다시 구축해야 하는 부분이라고 덧붙입니다.

■ Indie Hackers 반응

• @BlackLabelTec — 지금까지 읽은 “영업을 위한 AI 에이전트” 글 중 가장 솔직한 글입니다. 대부분은 성공만 공유하지만, 실제로 무엇이 망가졌는지 기록했습니다. x402 재시도, 에이전트 행동의 drift, 전달물의 무결성까지 다뤘습니다. 이 분야에서 무언가를 만드는 사람이라면 에이전트와 인간의 90/10 분할에 대한 통찰은 매우 중요합니다. 투명하게 공유해줘서 고맙습니다!

• @OnlyAlena — 전달물의 무결성이 제품이라는 말이 정말 와닿습니다. 구매자도 기계라면 결과물을 비교할 것이고, 결과가 맞지 않을 때 의지할 호의도 남지 않습니다. 에이전트 스캔과 인간의 결제액 사이의 90/10 분할도 훌륭한 데이터 포인트입니다. 현재 기계 채널은 실제 구매자 기반이라기보다 신호가 섞인 상단 퍼널 노이즈에 가깝다는 뜻으로 보입니다. 실제로 돈을 낸 사람들은 세 인간 채널 중 한 곳에서 대부분 왔나요, 아니면 꽤 고르게 분산됐나요?

• @yonergy — 바로 이런 종류의 AI 콘텐츠를 더 읽고 싶습니다. 에이전트가 완벽하게 짜인 데모를 수행하는 모습을 보여주는 것이 아니라, 몇 주 동안 현실의 지저분한 상황에 부딪히면 무슨 일이 일어나는지를 보여줍니다. 가장 어려운 실패는 기술적인 실패가 아닐 것이라고 생각합니다. 맥락, 타이밍, 판단, 그리고 언제 무언가를 보내지 말아야 하는지 아는 능력에 관한 문제일 것입니다. 가장 놀라웠던 실수가 무엇이었는지도 궁금합니다.

• @AtlaIptv — 이런 AI 실험이 에이전트가 완벽하게 짜인 워크플로를 완료하는 모습을 보여주는 또 하나의 데모보다 훨씬 흥미롭습니다. 30일 동안 실행하고 실제로 어디에서 실패했는지 기록하면 훨씬 유용한 정보를 얻을 수 있습니다. 영업에는 누군가가 진짜 관심이 있는지 이해하고, 언제 후속 연락을 할지 알고, 이전 대화에 맞춰 메시지를 조정하고, 아무것도 하지 않는 편이 또 다른 메시지를 보내는 것보다 나은 때를 인식하는 등 맥락이 필요한 상황이 매우 많습니다. 어떤 실패가 모델 자체에서 왔고 어떤 실패가 주변 자동화와 데이터 문제에서 왔는지 특히 궁금합니다. 현실의 실패 사례야말로 더 나은 에이전트를 위한 가장 큰 기회가 나올 곳일 것입니다.

• @ryanshrott — ZIP 불일치는 영업 카피의 실수가 아니라 릴리스 실패입니다. 광고한 프로브 수와 artifact manifest를 같은 빌드 단계에서 생성해야 합니다. 그런 다음 서로 일치하지 않으면 CI가 릴리스를 차단하도록 해야 합니다. 에이전트 구매자가 결과를 기계적으로 확인한다면, 마케팅 페이지도 계약의 일부입니다.

원문: Indie Hackers / 번역·요약: Trawling