Twigg — 직접 만들 필요 없는 LLM 컨텍스트 레이어

본문

LLM 기반 애플리케이션을 만들 때 개발자가 반복적으로 마주하는 문제 중 하나가 컨텍스트 관리다. 대화 이력 전체를 매번 재구성해 전송해야 하고, 모델마다 다른 메시지 스키마와 컨텍스트 윈도우 한계를 직접 처리해야 하며, 대화가 길어지면 토큰 한도 안에 맞추기 위한 압축·절단 로직까지 구현해야 한다. 이번 주 Product Hunt에 출시된 Twigg는 이 '컨텍스트 레이어'를 통째로 외부 서비스로 떼어내, 개발자가 직접 구축하지 않아도 되게 만드는 것을 목표로 한다.

상태를 보관하는 LLM 호출 API

Twigg는 'stateful API for calling LLMs'를 표방한다. 기존 방식에서는 요청마다 전체 대화를 다시 조립해 보내야 하지만, Twigg에서는 채팅(chat)을 한 번 생성한 뒤 이후에는 다음 이벤트(event)만 전송한다. 대화의 상태는 Twigg 쪽에 저장되며, 서비스가 컨텍스트를 대상 모델의 스키마에 맞게 변환하고, 길이가 한계를 넘으면 압축(compact)하거나 절단(truncate)한 뒤 LLM으로 라우팅한다. 즉 모델별 스키마 차이와 토큰 윈도우 관리라는 두 가지 지루한 인프라 작업을 API 뒤로 숨기는 구조다.

이 접근이 의미하는 바는 프로바이더 비종속성이다. 컨텍스트를 특정 벤더의 형식이 아니라 Twigg가 관리하는 상태로 보관하기 때문에, 요청 시점에 다른 모델로 라우팅하더라도 대화 이력을 재변환할 필요가 없다. 'no lock-in'이라는 표현이 제품 소개의 핵심 문구로 반복되는 이유다.

대시보드 기반 제어와 과금 추적

API만 제공하는 것이 아니라 대시보드도 함께 제공된다. 대시보드에서 도구 스키마(tool schemas), 시스템 프롬프트, 컨텍스트 윈도우 크기를 제어할 수 있고, 사용량(usage)과 과금(billing)을 추적할 수 있다. 컨텍스트 윈도우를 대시보드에서 조정할 수 있다는 점은 압축·절단 동작의 기준을 애플리케이션 코드가 아닌 설정으로 관리하겠다는 의미로 읽힌다.

겨냥하는 용도

제작진은 개인 에이전트(personal agents)와 채팅 앱(ChatApps), 나아가 엔터프라이즈 앱까지 활용 범위로 제시한다. 공통점은 '대화 상태를 가지는' LLM 애플리케이션이라는 것으로, 컨텍스트 관리와 호스팅, 프로바이더 종속이라는 세 가지 부담을 덜어주는 것이 가치 제안이다. 무료 옵션(Free Options)이 제공되며, 커뮤니티 점수는 120점을 기록했다.

원문: Product Hunt / 번역·요약: Trawling