최신 글

GLM-5.3-Flash를 Jev식 의사결정 모델로 만들기

Hacker News

Privatemode는 GLM-5.3-Flash가 옵션별 확률을 한 번의 추론으로 출력하도록 프롬프트와 vLLM의 logprob 기능을 구성했습니다. 공개 데이터셋 28개에서 Jev와 비슷한 정확도를 보였고 독일에서 응답 속도도 더 빨랐지만, 결정 비용은 더 높고 미국에서는 Jev가 더 빨랐습니다.

LLM 4,768회 실행에서 단 한 번의 스윕도 잃지 않기 — 타임아웃·멈춤·비용을 견디는 필드 테스트 러너 만들기

dev.to

CauterRule v0.3.0은 40개 코퍼스와 2개 모델을 대상으로 4,768개 trajectory-run을 완료한 필드 테스트 보고서입니다. per-trajectory timeout, 비재시도 타임아웃, 토큰 상한, 격리, 종료 시 취소라는 다섯 가지 방어 장치로 멈춘 요청 하나가 전체 평가를 막지 않게 했으며, 호출별 토큰 사용량도 비용으로 환산했습니다.