Product Hunt

slop-grader — Jev-AI CLI tool that evaluates text against custom rulesets

slop-grader — 사용자 지정 규칙으로 텍스트를 검사하는 Jev-AI CLI 도구

slop-grader는 문서를 규칙 세트와 대조해 점수와 줄별 플래그를 내놓는 오픈소스 CLI 도구입니다. AI 문구, 버즈워드, 문법, 법적 고지, 문체 일관성 등을 검사하고, 표시한 줄과 수정 지침을 AI 에이전트에 전달할 수 있습니다. 문서 평가는 외부 AI 서버에서 수행합니다.

AI 요약

slop-grader는 텍스트 문서를 사용자 지정 규칙 세트와 비교해 문서 점수와 줄별 플래그를 생성하는 오픈소스 CLI 도구입니다. 출시 문구에서 AI filler를 찾거나 랜딩 페이지에서 버즈워드를 걷어내고, 출시 이메일의 서사 흐름을 평가하는 용도로 소개합니다. 플래그가 붙은 줄과 수정 지침을 AI 에이전트에 넘겨 문구를 다듬을 수 있습니다.

규칙 기반 문서 검사

규칙은 일반 언어로 직접 작성합니다. 기본 규칙으로 영어 문법, 독일어 문법, AI filler 감지를 사용할 수 있고, SEO 검사나 법률 조항 확인, 독일어에서 Du와 Sie를 일관되게 사용하는지 확인하는 규칙도 만들 수 있습니다. 특정 줄을 평가하는 질문과 문서 전체를 평가하는 질문을 함께 지원합니다. 예를 들어 한 줄에 법적 고지가 필요한 약속이 들어갔는지, 도입부가 독자의 다음 30초를 이끌 만한지 질문하는 방식입니다.

규칙마다 검사 항목을 나누면 각 줄에 어떤 문제가 걸렸는지 확인하기 쉽습니다. 현재 출력은 위반 이유를 설명하지 않고, 플래그가 붙은 줄과 규칙, AI 에이전트에 붙여 넣을 수 있는 수정 지침을 제공합니다. 제작자는 에이전트가 별도 규칙을 바탕으로 문제를 추론하도록 사용하는 방식을 제안합니다.

실행 방식과 비용

실행하려면 Node.js가 필요합니다. TypeSafe 또는 OpenRouter 계정도 필요합니다. slop-grader는 TypeSafe의 Jev에서 실행됩니다. 제작자는 Jev를 구조화된 질문에 답하도록 특화한 새로운 AI 모델이자 일반적인 LLM과 다른 이른바 System One 모델이라고 설명합니다. 문서 검사는 수 초 안에 끝나며 비용은 1센트 미만입니다. 다만 텍스트는 외부 AI 서버에서 평가됩니다.

Product Hunt 반응

  • @lukstei1 — slop-grader를 만들었습니다. 영어 문법, 독일어 문법, AI filler 감지 같은 규칙으로 모든 텍스트 문서를 검사하는 오픈소스 도구입니다. 평문으로 사용자 작업에 맞는 규칙도 작성할 수 있습니다. SEO 검사, 법률 조항, 독일어에서 Du와 Sie를 일관되게 사용하는지 확인하는 규칙 등이 가능합니다. 규칙은 줄마다 평가하는 질문일 수도 있고, 문서 전체를 평가하는 질문일 수도 있습니다. 사용 사례에 맞는 규칙 세트를 잘 만들어 두면 매우 강력한 도구가 됩니다. TypeSafe의 Jev에서 실행되며, 새로운 AI 모델이고 LLM과는 다른 이른바 System One 모델입니다. 구조화된 질문에 답하는 데 특화되어 있습니다. 문서 검사에는 수 초가 걸리고 비용은 1센트 미만입니다. 도구는 플래그가 붙은 줄과 AI 에이전트에 바로 붙여 넣을 수 있는 수정 지침을 출력합니다. 실행하려면 컴퓨터에 Node.js가 설치되어 있어야 하고 TypeSafe 또는 OpenRouter 계정이 필요합니다. 텍스트는 외부 AI 서버에서 평가된다는 점을 알아 두어야 합니다.
  • @ben_d3 — 출력 결과를 AI 코딩 에이전트나 글쓰기 에이전트 작업 흐름에서 바로 사용할 수 있습니까? 아니면 주로 사람이 검토하도록 만들어졌습니까?
    • @lukstei1 — 도구는 플래그가 붙은 줄과 수정 지침을 출력합니다. AI 에이전트에 바로 붙여 넣어 수정할 수 있습니다.
  • @lucyjane — 한 업계에서는 버즈워드로 여길 단어가 다른 업계에서는 완전히 일반적인 표현일 수 있습니다. 이런 경우는 어떻게 처리합니까?
    • @lukstei1 — 사용 사례에 맞는 사용자 지정 규칙을 만들 수 있습니다.
    • @lukstei1 — 실제 힘은 사용 사례에 맞는 사용자 지정 규칙을 만드는 데서 나옵니다. 규칙은 줄마다 평가하는 질문이나 문서 전체를 평가하는 질문으로 작성합니다. 내장된 규칙 생성 skill을 사용해 사용자 지정 규칙을 만들 수도 있습니다.
  • @awesome_america — 사용자가 빠른 정리와 훨씬 깊은 검토 중에서 고를 수 있도록 규칙 세트에 엄격도 설정이 있으면 유용할 것 같습니다.
  • @galdayan — Du와 Sie 일관성 사례가 좋습니다. 단순한 AI filler 감지기가 아니라, 줄에 대해 예·아니오로 표현할 수 있는 모든 항목을 검사하는 linter에 가깝다는 점을 보여줍니다. 저희는 voice agent 스크립트를 배포하는데, 긴 통화 흐름에서 격식이 흔들리는 문제가 비슷합니다. 여러 세션에 걸쳐 스크립트를 작성하다 보면 사용자가 지적하기 전까지 아무도 모르게 말투가 조금씩 바뀝니다. 출력 형식에 관해 한 가지 질문이 있습니다. 규칙이 특정 줄에 걸리면 줄 번호와 규칙 문구만 줍니까? 아니면 왜 규칙을 위반했다고 판단했는지도 설명합니까? 유용한 lint와 결국 무시하게 되는 lint를 가르는 지점이 보통 여기에 있습니다.
    • @lukstei1 — 어떤 이유로 규칙이 걸렸는지는 제공하지 않습니다. 대신 검사 항목마다 별도 규칙을 만들 수 있고, AI 에이전트가 문제를 매우 잘 추론할 수 있습니다. 특수한 종류의 AI 모델을 사용하므로 모든 규칙을 각 줄에 따로 적용해도 비용이 저렴하고 빠릅니다.
  • @alicia_klein — 줄별 플래그가 유용합니다. 문서 전체를 다시 쓰는 대신 정확히 어느 부분을 고쳐야 하는지 확인하기가 훨씬 쉽습니다.

원문: Product Hunt / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗