엔드투엔드 평가로 더 나은 에이전트 만들기
Ramp는 회계 업무를 자동화하는 에이전트를 만들며 실제 업무 단계를 반영한 엔드투엔드 평가를 설계했습니다. 여러 합성 비즈니스 환경에서 기술과 메모리의 변경을 측정한 결과, 스킬 제거와 압축은 품질을 높이거나 비용을 낮췄고 업무 방식을 추린 메모리는 평균 점수를 5.7점 높였습니다.
개발 · 최신기사
언어와 프레임워크, SDK와 개발 방식·도구의 변화를 다룹니다.
LLM 4,768회 실행에서 단 한 번의 스윕도 잃지 않기 — 타임아웃·멈춤·비용을 견디는 필드 테스트 러너 만들기
CauterRule v0.3.0은 40개 코퍼스와 2개 모델을 대상으로 4,768개 trajectory-run을 완료한 필드 테스트 보고서입니다. per-trajectory timeout, 비재시도 타임아웃, 토큰 상한, 격리, 종료 시 취소라는 다섯 가지 방어 장치로 멈춘 요청 하나가 전체 평가를 막지 않게 했으며, 호출별 토큰 사용량도 비용으로 환산했습니다.