LLM 프록시를 직접 운영하지 않으면 무슨 일이 일어나는지 어떻게 알까요?
글쓴이는 자체 LLM 프록시를 두면 여러 제공자와 모델을 한곳에서 쓰고, API 호출과 캐시 동작을 기록해 사용 현황을 파악할 수 있다고 주장합니다. 가상 API 키와 인프라 통제도 장점으로 꼽으며, 개발 환경에 맞게 프록시를 수정해 관측성을 높이는 방식을 권합니다.
최신기사
AI, 개발 도구, 오픈소스, 보안과 인프라의 변화와 이용 조건을 설명하는 최신 기사와 해설입니다.
KloudMate 2.0 — AI 기반 풀스택 관측성과 에이전트형 SRE 운영
KloudMate 2.0은 메트릭, 로그, 트레이스 등을 한곳에 모으고 AI 에이전트로 장애 조사와 근본 원인 분석을 지원하는 관측성 플랫폼입니다. 회사는 장애의 70% 이상을 자동으로 식별·진단·해결한다고 설명하며, OpenTelemetry와 MCP 서버 지원도 소개합니다.
잘못된 파일을 감시한 헬스 체크
프로세스 ID와 로그 파일 수정 시각만으로 폴링 작업의 상태를 판단하다가 잘못된 결론에 도달한 사례입니다. 작성자는 각 파일을 갱신하는 코드 경로를 확인하고, 루프 실행·폴링 성공·메시지 처리·응답 전달을 구분해야 실제 상태를 알 수 있다고 설명합니다.
메트릭은 시스템 상태 그 자체가 아닙니다
발효 중인 포도즙을 굴절계로 측정한 경험을 바탕으로, 메트릭과 실제 시스템 상태를 구분해야 한다고 설명합니다. 원시 관측값과 해석을 따로 저장하고, 측정의 맥락과 이력을 남겨야 메트릭이 더는 상태를 제대로 나타내지 못하는 순간을 알아챌 수 있습니다.
AWS 멀티 에이전트 AI의 에이전트별 비용 추적
성공 응답과 정상 상태 코드만으로는 멀티 에이전트 시스템의 불필요한 추론·도구 호출·컨텍스트 증가를 찾기 어렵습니다. 글에서는 AWS Strands와 Bedrock 호출에 토큰 비용, 에이전트, 도구 호출 정보를 OpenTelemetry 트레이스로 기록하고, 정상 실행 기준선과 비교해 최대 43%의 비용 증가를 찾아냅니다.
AWS 멀티 에이전트 AI의 에이전트별 비용 추적
정상 응답과 200 OK만으로는 멀티 에이전트 실행의 낭비를 찾기 어렵습니다. AWS Strands와 Amazon Nova Pro를 연결한 사례에서 에이전트·도구별 토큰과 비용을 추적하고, 반복 호출·추론 루프·컨텍스트 증가를 기준 실행과 비교해 감지합니다.