Product Hunt

Inferock — Serverless inference, with credits back for failed calls.

Inferock — 실패한 추론 호출에 크레딧을 돌려주는 서버리스 서비스

Inferock은 앱과 LLM 제공자 사이에서 호출별 토큰 사용량, 실패, 재시도를 기록하고 비용 영수증을 생성합니다. BYOK 방식의 무료 감시 기능과 토큰 단위 서버리스 추론을 제공하며, 조건에 맞는 실패 호출에는 서비스 크레딧을 지급합니다.

에디터 노트

호출별 기록과 실패 크레딧은 비용을 추적하고 보상받는 절차를 한 서비스 안에 묶습니다. 다만 크레딧은 현금 환불이 아니며, 대상도 검증된 실패 중 청구되고 복구되지 않은 호출로 제한됩니다. 따라서 크레딧 한도보다 실패 판정 기준과 서비스 요금이 실제 운영비에 미치는 영향이 더 직접적인 판단 요소입니다. 출시 본문은 영수증의 비용 계산이 제공자 가격표 사본에 달렸다고 밝히지만, 가격표 갱신 시점을 확인하기 어렵다는 문제도 제기합니다. 창업자는 잘못된 JSON을 실패 유형으로 잡아도 정확히 어디서 출력이 깨졌는지는 기록하지 않는다고 답했습니다. 개인정보를 보관하지 않으려는 선택과 원인 분석에 필요한 정보 사이의 기준은 아직 구체적으로 제시되지 않았습니다. 댓글에서 토큰당 추가 요금을 물었지만 답변은 없습니다.

AI 요약

Inferock-bench는 앱과 OpenAI, Anthropic, Gemini 또는 OpenRouter 호환 API 사이에 두는 로컬 프록시입니다. 호출별 토큰 사용량과 실패, 재시도를 기록해 제공자 청구액과 실제 비용을 비교하는 영수증을 만듭니다. 기존 SDK는 baseURL과 apiKey를 바꾸는 방식으로 연결한다고 설명합니다.

사용 방식과 크레딧

Inferock Watch는 사용자가 OpenAI, Anthropic, Gemini 키를 직접 연결하는 BYOK 방식입니다. 호출 영수증과 월간 손실 보고서를 제공하며, 크레딧 프로그램에 등록하면 검증된 실패 호출에 대한 크레딧을 Inferock Serve에서 쓸 수 있습니다. Serve는 토큰 단위로 과금하는 서버리스 추론 서비스입니다. 크레딧은 현금이 아니며 12개월 뒤 만료됩니다. 잔액 한도와 월간 사용 한도는 각각 1,000달러입니다. 서비스 요금은 크레딧으로 결제되지 않습니다.

실패 판정과 구현

크레딧 대상은 청구됐지만 비용이 복구되지 않은 장애와 시간 초과, 비어 있거나 잘린 출력, 잘못된 구조화 출력, 청구 및 캐시 이상입니다. 거절 응답과 청구되지 않은 호출, 비용이 복구된 호출은 제외됩니다. 창업자는 Cloud Run Services로 상태가 없는 라우터를 운영하며, 요청 검증과 테넌트별 라우팅 및 지출 정책 적용, 제공자 프록시, 응답 스트리밍을 담당한다고 밝혔습니다. 운영 환경에서는 인스턴스 하나를 상시 유지하고 부하에 따라 확장합니다.

Product Hunt 반응

  • @cloudalchemist — Cloud Run 아키텍처를 더 설명해 주실 수 있나요? Inferock.ai 추론 라우터를 호스팅한다고 봤는데 Services와 Jobs 중 어느 쪽을 쓰나요?
    • @bharath_koneti — 실시간 라우터에는 Cloud Run Services를 씁니다. 라우터는 상태가 없고 I/O 작업이 많습니다. 요청을 검증하고 테넌트별 라우팅과 지출 정책을 적용한 뒤 선택한 모델 제공자로 프록시하고 결과를 스트리밍합니다. 운영 인스턴스 하나를 항상 유지하고 부하가 늘면 확장합니다.
  • @rukhsar_amjad — 모델이 잘못된 JSON을 반환하면 출력이 정확히 어디서 깨졌는지 보여주나요? 출시를 축하합니다.
    • @bharath_koneti — 잘못된 구조화 출력은 호출별 실패 유형으로 기록합니다. 다만 호출 기록에 정확한 지점은 표시하지 않습니다. 실패 데이터에 개인 식별 정보를 보관하고 싶지 않았습니다.
  • @bengeekly — 그다음에는 어떻게 해야 하나요? Anthropic이나 OpenAI에 연락해서 해당 호출을 환불받아야 하나요?
    • @sumedh_bengale — Inferock Watch에서는 검증된 실패 호출 중 청구됐고 비용을 돌려받지 못한 경우 현금이 아닌 만료형 서비스 크레딧을 지급합니다. 거절 응답과 청구되지 않은 호출, 비용이 전부 복구된 호출은 크레딧 대상이 아닙니다. 크레딧 잔액과 월간 사용 한도는 각각 1,000달러이며 서비스 요금은 현금으로 결제합니다.
  • @len5 — 가입 크레딧이 끝난 뒤 토큰 100만 개당 실제 추가 요금은 얼마인가요? 유지 비용을 구독료처럼 숨겨서 부과하는 서비스를 감당할 수 없습니다.

원문: Product Hunt / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗