LLM 프록시를 직접 운영하지 않으면 무슨 일이 일어나는지 어떻게 알까요?
글쓴이는 자체 LLM 프록시를 두면 여러 제공자와 모델을 한곳에서 쓰고, API 호출과 캐시 동작을 기록해 사용 현황을 파악할 수 있다고 주장합니다. 가상 API 키와 인프라 통제도 장점으로 꼽으며, 개발 환경에 맞게 프록시를 수정해 관측성을 높이는 방식을 권합니다.
개발 · 최신기사
언어와 프레임워크, SDK와 개발 방식·도구의 변화를 다룹니다.
메트릭은 시스템 상태 그 자체가 아닙니다
발효 중인 포도즙을 굴절계로 측정한 경험을 바탕으로, 메트릭과 실제 시스템 상태를 구분해야 한다고 설명합니다. 원시 관측값과 해석을 따로 저장하고, 측정의 맥락과 이력을 남겨야 메트릭이 더는 상태를 제대로 나타내지 못하는 순간을 알아챌 수 있습니다.