Product Hunt

Kerno 1.0 — The AI Runtime Backend QA Engineer

Kerno 1.0 — AI 런타임 백엔드 QA 엔지니어

Kerno 1.0은 AI 코딩 에이전트가 코드를 작성하는 동안 실제 데이터베이스와 서비스로 백엔드를 테스트하고, 실패를 에이전트에 전달하는 도구입니다. 사용자 흐름, 보안 검사, 백그라운드 작업 등을 실행하며 저장한 테스트를 GitHub Actions로 PR마다 다시 실행합니다.

에디터 노트

테스트를 에이전트 세션 안에서 실행하고 실패를 같은 세션에 전달한다는 흐름은 PR 이후에 발견하는 문제를 앞당겨 다루려는 설계입니다. 저장소에 테스트를 남기고 CI에서 다시 실행한다는 점도 개발 중 점검과 회귀 검사를 잇습니다. 다만 제품 설명은 지원 범위와 작동 방식을 제시할 뿐, 탐지율이나 오탐률 같은 검증 수치는 제공하지 않습니다. 댓글의 사용자 보고서 노출 사례에 대해 제품 측은 API가 다른 사용자의 데이터를 반환하는 문제는 다루지만 브라우저 저장소에 남는 데이터는 프런트엔드 영역이라고 구분합니다. 이 구분은 제품 범위를 구체적으로 보여줍니다. 보안 검사는 엔드포인트 코드와 OWASP API Top 10 항목을 바탕으로 적용 가능한 테스트를 만든다는 설명이므로, 이 사례에서 확인된 것은 설계와 범위이지 실제 탐지 성능은 아닙니다.

AI 요약

Kerno는 AI 코딩 에이전트가 만든 백엔드 코드의 동작을 개발 중에 확인하는 QA 도구입니다. 제품 측 설명에 따르면 로컬에서 애플리케이션을 실제 데이터베이스, 큐, 서비스와 함께 실행해 테스트합니다. 실패를 에이전트 세션에 전달해 PR을 열기 전에 수정하도록 하고, 테스트를 저장소에 커밋해 이후 PR에서도 GitHub Action으로 다시 실행합니다. 월 30회 테스트까지 무료이며 오픈소스 프로젝트는 무료로 쓸 수 있다고 안내합니다.

테스트 범위와 설정

사용자 흐름 테스트에서는 에이전트에 고객의 상품 구매 같은 동작을 요청하면 각 단계를 실행하고 마지막 결과를 확인합니다. 코드 변경 뒤에는 영향을 받은 흐름을 다시 실행합니다. 보안 테스트는 실행 중인 앱에서 다른 사용자의 데이터에 접근하거나 스택 트레이스를 노출하는 사례 등을 확인합니다. 제품 측은 엔드포인트의 입력, 인증 방식, 접근 데이터에 따라 OWASP API Top 10 항목 중 해당하는 테스트를 작성한다고 설명합니다.

백그라운드 작업은 Celery, Graphile Worker, Kafka, RabbitMQ, SQS, Azure Service Bus를 지원합니다. 실제 워커에서 작업을 실행한 뒤 기록한 데이터와 보낸 메시지를 확인합니다. 인증이 필요한 도구를 포함해 MCP 서버의 도구를 테스트하고, SAM과 Serverless Framework를 쓰는 AWS 서버리스 앱도 다룹니다. SQS, DynamoDB, Cognito 로그인으로 실행되는 Lambda가 포함됩니다. 첫 실행 때 로그인과 테스트 데이터 설정 방법을 파악하고 그 내용을 저장소에 남겨 개발자가 확인하고 수정할 수 있다고 합니다.

Product Hunt 반응

  • @karim_traiaia — 안녕하세요, Product Hunt! Kerno v1은 지금까지 가장 큰 업그레이드로, 완전한 AI 백엔드 QA 엔지니어입니다. 코드베이스를 파악하고 앱이 동작하는 방식을 익히며 실행할 때마다 더 정확해집니다. 이제 전체 사용자 흐름, 실시간 보안 검사, 백그라운드 작업, 큐, MCP 서버, AWS 서버리스까지 백엔드 전체를 테스트합니다. PR을 열기 전에 에이전트 세션 안에서 버그를 찾고, CI에서 모든 PR을 다시 검사합니다. 처음 보는 분을 위해 간단히 설명하겠습니다. 에이전트는 이제 코드를 아주 빠르게 작성합니다. 하지만 코드가 실제로 작동하는지 확인하는 데 시간이 걸립니다. 대부분 팀은 CI에서 몇 시간 뒤에야 문제를 발견하거나, 더 나쁘게는 코드가 병합된 뒤에 발견합니다. 그러면 누군가 돌아가 무엇이 망가졌는지 알아내고 다시 작업해야 합니다. Kerno는 에이전트가 작업하는 동안 백엔드를 테스트합니다. 실제 데이터베이스, 큐, 서비스와 함께 앱을 로컬에서 실행하므로 코드가 실제로 실행될 때만 나타나는 버그를 찾습니다. 에이전트는 실패를 바로 전달받고 같은 세션에서 수정합니다. v1에서 추가한 기능은 다음과 같습니다. 사용자 흐름에서는 에이전트에 고객의 상품 구매를 테스트해 달라고 하면 각 단계를 진행하고 마지막 결과를 확인합니다. 무언가를 변경하면 변경 사항이 영향을 준 흐름을 다시 실행합니다. 보안 테스트에서는 실행 중인 앱에서 다른 사용자의 데이터에 접근하는 등의 시도를 합니다. 엔드포인트가 접근을 허용하거나 스택 트레이스를 유출하면 테스트가 실패합니다. 백그라운드 작업은 Celery, Graphile Worker, Kafka, RabbitMQ, SQS, Azure Service Bus를 지원합니다. 실제 워커에서 작업을 실행하고 작업이 기록한 내용과 보낸 내용을 확인합니다. MCP 서버에서는 인증 뒤에 있는 도구를 포함해 서버가 제공하는 모든 도구를 테스트합니다. AWS 서버리스는 SAM과 Serverless Framework 앱을 지원하며 SQS, DynamoDB, Cognito 로그인으로 실행되는 Lambda도 포함합니다. 앱을 처음 실행하면 로그인 방법과 테스트 데이터 설정 방법을 파악합니다. 그 내용을 저장소에 저장하므로 직접 읽고 잘못된 부분을 수정할 수 있습니다. 테스트는 저장소에 커밋하며 GitHub Action이 모든 PR에서 다시 실행합니다. 여기에서 사용해 보세요. 월 30회 테스트까지 무료이며 신용카드가 필요 없습니다. 오픈소스 프로젝트는 무료입니다. 의견과 에이전트가 백엔드에 몰래 넣은 최악의 버그가 무엇인지 듣고 싶습니다. 하루 종일 여기 있겠습니다.
  • @seenew — 출시를 축하합니다! 로그아웃할 때 저장소가 초기화되지 않는 매장이 있었습니다. 그래서 다음 사용자로 로그인한 사람이 이전 사용자의 보고서를 봤습니다. 오류는 전혀 없고 화면에 잘못된 데이터만 나타났습니다. 보안 테스트 목록은 어디에서 가져오나요? 저희 중 누구도 그 문제를 테스트할 생각을 못 했을 겁니다. 어쨌든 다시 한번 축하합니다.
    • @karim_traiaia — 고맙습니다, Shinyoo! 교묘한 문제네요. 모든 게 정상처럼 보이는 버그가 가장 까다롭습니다. 보안 검사는 코드 자체에서 가져옵니다. 보안 테스트를 요청하면 Kerno가 엔드포인트의 입력, 인증 방식, 접근하는 데이터를 읽고 취약한 객체 수준 권한 검사, 인젝션, 대량 할당, SSRF 같은 OWASP API Top 10 항목과 대조합니다. 그런 다음 해당 엔드포인트에 실제로 적용되는 항목에 대해서만 테스트를 작성합니다. 한 가지 제한이 있습니다. Kerno는 백엔드에서 동작합니다. 말씀하신 경우에는 API가 사용자 A의 보고서를 사용자 B에게 반환하는 문제를 잡아냅니다. 로그아웃 뒤에도 브라우저에 저장소가 남는 문제는 프런트엔드 쪽입니다.
  • @klaas_ardinois1 — 오랫동안 이런 도구를 찾고 있었습니다!
    • @karim_traiaia — 고맙습니다, Klass! 사용해 보신 뒤 의견을 들려주시면 좋겠습니다.
  • @gtmnerd — 정말 멋져 보입니다!
    • @karim_traiaia — 고마워요, Shane.

원문: Product Hunt / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗