Jevtown — 게시 전에 1만 명의 AI 독자가 글에 반응합니다

AI 요약

Jevtown은 게시글, 상품 등록 문구, 제품 설명, 제목을 1만 명의 AI 독자에게 먼저 읽히는 실험 도구입니다. 로그인 없이 사용할 수 있으며, 입력한 글의 언어에 따라 영어 또는 우크라이나어 독자 집단을 사용합니다. 실제 사람의 반응을 대체한다고 검증한 제품은 아니며, 같은 글의 여러 버전을 비교하는 용도에 초점을 둡니다.

1만 명에게 도달하는 확산 규칙

글은 먼저 해당 글에 관심을 가질 가능성이 높은 600명에게 전달됩니다. 첫 집단에서 불쾌하게 느낀 사람보다 긍정적으로 반응한 사람이 많을 때만 다음 1,500명으로 확산됩니다. 약한 글은 첫 단계에서 약 0.5센트 비용으로 중단되고, 좋은 글은 약 14초 안에 1만 명에게 도달하며 비용은 약 10센트입니다. 각 독자가 스크롤을 넘겼는지, 읽었는지, 좋아요를 눌렀는지, 재게시했는지, 팔로우했는지, 차단했는지를 확률로 계산합니다. 관심사, 직업, 나이, 도시, 예산별 반응도 확인할 수 있습니다. 상품 등록 문구에는 구매자가 먼저 물어볼 질문을 보여주고, 가격대를 바꿔가며 수요 곡선을 확인하게 합니다.

개발자 Ivan Gabor가 제시한 사례에서는 같은 iPhone 판매 글을 두 방식으로 작성했습니다. 물건을 확인한 뒤 결제할 수 있다고 쓴 버전은 2,100명에게 도달했고 142명이 판매자에게 연락했습니다. 선입금만 받는 버전은 600명에서 멈췄고, 그중 204명이 사기일 가능성을 의심했습니다.

시뮬레이션 측정과 한계

개발자는 200개 페르소나에게 한 번에 답을 요청해도 한 명씩 물었을 때와 결과가 같아 정확도 손실이 없었다고 설명합니다. 선택지 순서를 뒤집으면 답변이 0.062만큼 달라졌습니다. 같은 요청을 반복했을 때 생기는 잡음보다 2.5배 큰 차이였기 때문에 선택지 순서는 섞지 않고 고정했습니다.

구매자가 지불할 수 있는 최고 가격을 묻자 90%가 구매자로 분류됐습니다. 질문에 기본 발생률을 함께 넣자 비율은 48%로 내려갔고, 같은 실행 안에서 관찰한 실제 행동과 맞았습니다. 이 결과는 보정이 질문 자체에 맞춰진다는 점을 보여줍니다. 질문을 어떻게 쓰느냐에 따라 시뮬레이션 결과가 달라집니다.

실제 독자 집단과 비교한 검증은 아직 없습니다. 대신 같은 40명으로 구성한 독자 집단의 관심사를 바꿔 테스트했습니다. 정원사로 설정했을 때 토마토 모종 글을 읽은 비율은 93%였고, 프로그래머로 설정했을 때는 15%였습니다. 스팸과 사기 판매 글을 포함한 약한 글 6개와 일반 글 6개도 확산 규칙으로 구분했습니다. 개발자는 이 수치를 실제 반응의 절대값보다 같은 글의 두 버전을 비교하는 데 쓰라고 설명합니다. 읽은 시간은 측정하지 않으며, 관심을 나타내는 가장 가까운 지표는 스크롤을 넘기지 않고 멈춘 비율입니다.

반응 이유와 독자 지정

최근 추가된 기능은 최대 100명의 독자에게 후속 질문을 보내는 방식입니다. 글을 넘겼거나 불쾌하게 느낀 독자는 이유를 고르고, 좋아한 독자는 무엇이 반응을 이끌었는지 설명합니다. 게시글에서는 멈춰서 읽은 독자가 어떤 댓글을 남길지도 답합니다. 결과 화면은 이유를 글 자체의 문제와 독자층의 문제로 나눠 보여줍니다. 첫 문장이 약한지, 아니면 잘못된 독자에게 도달했는지 구분하는 방식입니다.

텍스트에 구체적인 숫자·이름·예시가 있는지, 독자가 무엇을 해야 하는지 분명한지, 판매 글의 첫 문장에 판매 대상이 드러나는지도 예·아니오 질문으로 확인합니다.

Audience 탭에서는 자연어로 독자를 지정할 수 있습니다. 《IT 업계에서 일하고 스타트업에 관심 있는 사람》이라는 조건에는 1만 명 중 238명이 맞고, 《60세 이상인 사람》에는 1,398명이 맞습니다. 현재 독자 데이터에는 도시나 회사 단계가 없으므로 그런 조건은 반영하지 않습니다. 직업, 나이, 관심사, 소득, 구매 항목은 사용하며, 입력한 설명을 Jev가 어떻게 해석했는지도 보여줍니다. 사이트에서 독자 집단 자체를 새로 만드는 기능은 없지만, 오픈소스 코드의 public/shared/personas.js에서 직업과 관심사를 수정할 수 있습니다.

MCP 서버와 오픈소스 코드

MCP 서버를 사용하면 Claude 같은 MCP 클라이언트가 문안 후보를 만들고, 첫 600명에게 최대 5개 버전을 비교한 뒤 가장 좋은 버전을 계속 확산시킬 수 있습니다. 실행에는 사용자의 Jev 키를 씁니다. Jev 자체가 문장을 작성하지는 않으며, 에이전트가 문안을 작성하고 Jevtown이 비교와 평가를 담당합니다. 코드는 MIT 라이선스로 공개됐습니다.

출시 전 유료 실행으로 새 질문을 검증했고, 읽은 깊이, AI가 쓴 글처럼 보이는지, 글의 핵심이 앞에 나오는지를 묻는 질문 3개는 결과가 안정적이지 않아 제외했습니다. 문서의 measurements.md에 측정 결과를 기록했습니다.

Product Hunt 반응

• @ivangabor — Product Hunt 여러분, 대부분의 Jev 데모는 모델에게 결정 하나를 요청합니다. 댓글을 조정하거나, 이메일을 분류하거나, 티켓에 점수를 매기는 식입니다. 저는 같은 텍스트에 1만 번의 결정이 내려지면 어떤 모습일지 보고 싶어서 마을을 만들고 모든 집에 Jev를 넣었습니다. 게시글, 판매 글, 제품 설명, 제목을 쓰면 됩니다. 해당 글이 가장 중요하게 다가갈 600명의 주민이 먼저 읽고, 긍정적으로 느낀 사람이 불쾌하게 느낀 사람보다 많을 때만 더 넓게 퍼집니다. 약한 글은 첫 파동에서 0.5센트 비용으로 죽고, 좋은 글은 약 10센트로 14초 안에 1만 명에게 도달합니다. 저를 설득한 테스트는 하나의 iPhone 판매 글을 두 방식으로 쓴 일이었습니다. 구매자가 물건을 확인한 뒤 결제할 수 있다고 쓴 버전은 2,100명에게 도달했고 142명이 판매자에게 연락했습니다. 선입금만 받는 버전은 600명에서 멈췄고, 그중 204명이 사기라고 의심했습니다. Jev를 만들기 전에 측정한 내용 중 다른 사람에게 도움이 될 만한 세 가지가 있습니다. 첫째, 한 번의 요청에서 200개 페르소나에게 답을 받아도 한 명씩 물었을 때와 결과가 같았으므로 배치 처리로 정확도가 떨어지지 않았습니다. 둘째, 선택지 순서를 뒤집으면 답변이 0.062만큼 바뀌었습니다. 같은 요청 두 번 사이의 잡음보다 2.5배 큰 수치여서 순서를 고정하고 섞지 않습니다. 셋째, 《이 구매자가 지불할 수 있는 최고 가격은 얼마인가요?》라고 물으면 사람의 90%가 구매자로 바뀝니다. 질문에 기본 발생률을 써 넣으면 48%가 되고, 같은 실행에서 실제로 보인 행동과 맞습니다. 보정은 실제로 작동하지만, 작성한 질문을 보정할 뿐입니다. 로그인과 계정은 없습니다. 우크라이나어와 영어를 지원하고, 글의 언어가 마을을 고릅니다. 지금까지 마을이 틀렸던 글에 관한 이야기를 가장 듣고 싶습니다.
  • @oliver_graf1 — 마을이 예상 밖의 결과를 냈을 때 가장 놀라웠던 글은 어떤 종류였나요?
  • @ivangabor — 《Good morning everyone.》이었습니다. 약한 글, 스팸, 사기 판매 글을 포함한 다른 5개 글과 함께 첫 파동에 보냈고 모두 거기서 죽을 것으로 예상했습니다. 다른 5개는 모두 탈락했지만, 《Good morning everyone.》은 간신히 통과했습니다. 실제 피드의 게시글이 통과하는 방식과 비슷합니다.
• @jenniferdavis — 반응하기 전에 읽는 데 얼마나 시간을 썼는지도 추적하나요?
  • @ivangabor — 아니요. Jevtown은 읽은 시간을 측정하지 않습니다. 각 주민에 대해 Jev가 답하는 질문은 《이 사람이 이 게시글을 보고 할 수 있는 가장 큰 행동은 무엇인가?》입니다. 스크롤해서 넘기기, 읽기, 좋아요, 재게시, 팔로우, 차단에 대한 확률을 반환합니다. 관심을 나타내는 가장 가까운 값은 스크롤해서 넘기지 않고 멈춘 사람의 비율입니다.
• @jordantaylor58 — 시험해보려고 소셜 계정을 전부 연결하지 않아도 되는 도구라서 좋습니다. 일반적인 테스트가 끝나는 데 얼마나 걸리나요?
  • @ivangabor — 감사합니다. 글이 반응을 얻지 못하면 600명으로 구성된 첫 파동에서 2~4초 안에 멈춥니다. 1만 명까지 도달하는 글은 약 14초가 걸립니다.
• @harrywilson — AI 반응이 실제 사람의 반응과 얼마나 비슷한지 비교해봤나요?
  • @ivangabor — 실제 독자 집단과 비교하지는 않았습니다. 두 가지는 확인했습니다. 같은 40명을 정원사로 만들면 토마토 모종 글에서 93%가 멈췄고, 프로그래머로 만들면 15%가 멈췄습니다. 또 확산 여부를 결정하는 규칙은 스팸과 사기 판매 글을 포함해 테스트한 약한 글 6개와 일반 글 6개를 구분했습니다. Jev와 실제 사람 한 명을 비교하는 방법도 있습니다. jevtown.ivanhabor.com/me에서 독자 한 명을 설명하고, 12개 게시글에 그 사람이 어떻게 반응할지 답하면 됩니다. 그다음 8개의 새 게시글이 나오고, 먼저 직접 답한 뒤 Jev가 그 답을 보지 않고 해당 독자의 반응을 예측합니다. 설명만 봤을 때와 비교해 몇 개를 맞혔는지 보여줍니다. 그래도 시뮬레이션 독자이므로 같은 글의 두 버전을 비교하는 데 쓰는 편이 좋습니다.
• @robbalian — 마음에 듭니다. UI가 아름답고 Jev의 사용 사례도 좋습니다. 많은 사람이 Jev를 AI 탐지에 쓰고 있다고 생각하지만, 여기에도 좋은 사용 사례가 있는 것 같습니다.
  • @ivangabor — UI를 좋게 봐주셔서 감사합니다. AI 탐지기는 Jev에게 텍스트에 관해 질문합니다. Jevtown은 1만 명의 주민이 게시글을 보고 어떻게 행동할지 묻고, 결과는 주민이 누구인지에 따라 달라집니다. 같은 40명을 정원사로 설정했을 때 토마토 모종 글에서 93%가 멈췄고, 프로그래머로 설정했을 때는 15%가 멈췄습니다.
• @ivangabor — Jevtown에 세 가지 기능이 새로 추가됐습니다. 마을이 통과시킨 이유, 직접 지정하는 독자층, MCP 서버입니다. 검사가 끝나면 도달한 사람 중 최대 100명에게 질문을 하나 더 보냅니다. 글을 넘겼거나 불쾌하게 느낀 사람은 이유를 고르고, 좋아한 사람은 무엇이 반응을 이끌었는지 말합니다. 게시글에서는 멈춰서 읽은 사람이 어떤 댓글을 남길지도 답합니다. 이유는 텍스트에 관한 것과 독자층에 관한 것으로 나눕니다. 구체적인 숫자·이름·예시가 있는지, 독자가 무엇을 해야 하는지 분명한지, 판매 글의 첫 문장에 판매 대상이 나오는지도 확인합니다. 독자층은 말로 설명하면 됩니다. 《IT 업계에서 일하고 스타트업에 관심 있는 사람》은 238명이고, 《60세 이상인 사람》은 1,398명입니다. 도시나 회사 단계 데이터는 없으므로 그런 단어는 반영되지 않습니다. MCP 서버에서는 Claude나 다른 MCP 클라이언트가 문안 후보를 만들고, 첫 파동에서 최대 5개를 비교한 뒤 가장 좋은 버전을 마을 안에서 계속 진행시킵니다. Jev는 글을 쓰지 않으며, 사용자의 Jev 키로 실행합니다. 새 질문은 유료 실행으로 검증했고, 읽은 깊이, AI가 쓴 글처럼 보이는지, 핵심을 먼저 말하는지를 묻는 질문 3개는 결과가 안정적이지 않아 버렸습니다. 코드는 GitHub에 공개했습니다.
• @leomartin357 — 게시 전에 1만 명의 독자가 반응한다는 아이디어가 좋은 설명이 됩니다. 기술 창업자처럼 특정 틈새 독자만 설정할 수 있나요?
  • @ivangabor — 사이트에서는 설정할 수 없습니다. 모든 글은 같은 1만 명의 주민에게 게시되고, 그중 약 800명이 스타트업에 관심이 있습니다. 창업자를 위한 글은 첫 파동이 글과 가장 관련 있는 사람에게 먼저 가므로 그들 중 많은 사람에게 먼저 도달합니다. 실행이 끝나면 스타트업 관심사를 가진 주민만 골라 어떤 행동을 했는지 볼 수 있습니다. 창업자만 있는 마을을 만들려면 코드를 직접 복사해야 합니다. 코드는 MIT 라이선스로 공개되어 있고, 주민은 public/shared/personas.js 파일 한 곳에서 생성됩니다. 그 파일에서 직업과 관심사를 바꿀 수 있습니다.
  • @ivangabor — 창업자를 직접 설명하는 편이 좋나요, 아니면 실제 팔로워를 바탕으로 집단을 만드는 편이 좋나요?
  • @ivangabor — 이제 직접 설명할 수 있습니다. 작성 화면에서 Audience를 열고 《IT 업계에서 일하고 스타트업에 관심 있는 사람》처럼 독자를 말로 적으면 됩니다. 이 조건에 맞는 1만 명 중 238명만 글을 읽습니다. 마을은 직업, 나이, 관심사, 돈, 사람들이 무엇을 구매하는지 알고 있습니다. 회사 단계나 B2B 데이터는 없으므로 《초기 단계 B2B SaaS 기술 창업자》라고 쓰면 비즈니스 분야에서 일하는 사람 전체로 해석됩니다. Audience 탭에서 Jev가 설명을 어떻게 읽었는지 확인할 수 있습니다.

원문: Product Hunt / 번역·요약: Trawling