Hacker News

If you don't run your own LLM proxy, how do you know whats going on?

LLM 프록시를 직접 운영하지 않으면 무슨 일이 일어나는지 어떻게 알까요?

글쓴이는 자체 LLM 프록시를 두면 여러 제공자와 모델을 한곳에서 쓰고, API 호출과 캐시 동작을 기록해 사용 현황을 파악할 수 있다고 주장합니다. 가상 API 키와 인프라 통제도 장점으로 꼽으며, 개발 환경에 맞게 프록시를 수정해 관측성을 높이는 방식을 권합니다.

에디터 노트

프록시의 가치는 구독 화면에 없는 호출 기록과 프로젝트별 비용 분석을 얻는 데서 분명해집니다. 글쓴이는 캐시 미스 원인을 직접 찾아내는 사례를 들었고, 댓글에서도 샌드박스에 제공자 키를 노출하지 않는 점과 조직 단위 비용 추적을 장점으로 꼽습니다. 다만 프록시가 관측성을 얻는 유일한 방법은 아닙니다. 구독 사용자는 하네스가 저장하는 JSONL 세션을 모을 수 있고, 프록시를 써도 얻은 기록이 실제 의사결정에 도움이 되지 않았다는 경험도 나왔습니다. 필요한 데이터와 보안 요구가 뚜렷한 환경에는 자체 프록시가 맞지만, 사용량이 적거나 구독 화면으로 충분한 사용자에게는 운영과 유지보수 부담이 더 클 수 있습니다.

AI 요약

LLM을 쓰는 개발자는 유료 구독 서비스의 기본 화면만으로는 엔지니어링에 필요한 사용량 정보를 얻기 어렵다고 글쓴이는 말합니다. 그런 화면은 시간에 따른 토큰 사용량을 보여주지 않아 구체적인 결정을 내리기 어렵다는 설명입니다. OpenTelemetry(OTel) 내보내기 기능이 있어도 자체 프록시를 운영할 이유는 더 있다고 덧붙입니다.

프록시를 직접 운영하는 이유

글쓴이가 꼽은 장점은 하나의 엔드포인트에서 여러 제공자와 모델을 쓰는 것, 어떤 키가 어떤 모델을 어떤 클라이언트에서 호출했는지와 상태를 기록하는 것, 가상 API 키로 기본 키를 여러 작업 환경에 복사하지 않는 것입니다. 직접 관리하는 인프라에 요청을 모으면 제공자나 모델을 빠르게 바꿀 수 있고, 필요한 기능을 추가하도록 프록시를 수정할 수도 있습니다.

글쓴이는 코딩 중 캐시 미스가 생기면 프록시 기록을 살펴 원인을 약 20초 만에 찾는다고 설명합니다. 현재는 수동으로 확인하지만 사용 중인 프록시에 API가 있어 자동화도 가능하다고 말합니다. 집에서는 학습과 취미를 위해, 직장에서는 업무상 필요한 관측성과 데이터 경로 통제를 위해 이런 구성을 쓴다고 합니다.

Hacker News 반응

  • @voodooEntity — 에이전트가 무슨 일을 하고 왜 하는지 완전히 관측하려고 직접 에이전트와 하네스를 만들었습니다. 다른 에이전트들이 왜 이런 정보를 보여주지 않는지 모르겠지만, 저는 제 방식으로 해결했습니다.
  • @hoppp — 지금 서버에 LiteLLM Proxy를 설치하고 있습니다. 샌드박스에서 에이전트를 조율하려면 꼭 필요합니다. 가상 키로 제공자 API 키를 샌드박스에 노출하지 않고, 모든 요청을 확인하며, 가드레일도 적용할 수 있습니다.
  • @jubilanti — LLM 프록시를 운영해야 한다는 말에는 동의합니다. 하지만 LiteLLM을 비롯한 도구들이 버그투성이로 급하게 만들어진 것 같고, 업데이트도 빠르니 취약점이 걱정됩니다. 제가 잘못 쓰는 건가요? 괜찮은 대안이 있나요?
  • @impure — OpenRouter가 이걸 다 해줍니다. 꽤 괜찮습니다. 다만 앱에서는 API 키가 클라이언트에 보이지 않도록 다른 서버를 둡니다.
  • @jakozaur — API 요금을 낸다면 프록시가 좋습니다. 구독을 쓴다면 ~/.claude/projects/ 같은 디렉터리의 JSONL 파일을 모으는 편이 쉽습니다. 프록시보다 하위 에이전트 기록이 더 잘 정리돼 있습니다. 조직 전체의 에이전트 세션을 수집하면 가치가 크지만, 자격 증명을 지우고 보안을 관리해야 합니다.
  • @vasco — 캐시 적중과 미스를 직접 확인하려고 그렇게까지 하는 건 과해 보입니다. 더 큰 요금제를 쓰거나 지침을 줄이면 시간 낭비를 피할 수 있습니다.
  • @Havoc — 예전에 설정해봤지만 실제로 쓸 만한 정보를 얻지 못해 그만뒀습니다. Claude Code와 비대한 시스템 프롬프트를 버린 것 말고는 달라진 점이 없었습니다.
    • @redmalang — 저희는 프로젝트별 비용 분석에 씁니다. 실제로 유용합니다.

원문: Hacker News / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗