AI 벤치마크 점수와 실제 업무 사이, 무엇을 재고 무엇을 놓칠까
벤치마크가 직업별 업무를 얼마나 포괄하는지, 안전한 판단과 실행을 함께 재는지, 장시간 과제와 상호작용 속 적응을 평가하는지 살펴봅니다. 네 자료는 서로 다른 빈틈을 드러내지만, 어느 하나도 점수만으로 실제 직무 수행 능력을 확정하지는 못합니다.
최신기사
AI, 개발 도구, 오픈소스, 보안과 인프라의 변화와 이용 조건을 설명하는 최신 기사와 해설입니다.
AI에는 맞서 반응하는 테스트가 필요합니다
eSlams는 AI 모델이 상대의 대응과 달라진 상황에 맞춰 판단을 이어가는 능력을 게임으로 평가하는 공개 경기장을 만들고 있습니다. 오픈소스 엔진은 50개 게임·제어 환경을 지원하며, 경기 기록과 기술적 실패를 구분해 결과를 검토하도록 설계했습니다.
Jev에게 트롤리 문제를 물었습니다
14개 의사결정 모델에 트롤리 문제를 여러 방식으로 제시하자, 질문 표현과 모델의 서버가 희생 대상인지에 따라 답이 달라졌습니다. Jev는 20명을 살리는 대신 자기 서버를 지키는 선택을 48개 프롬프트 버전 중 16개에서 했습니다. 글은 고위험 결정에 모델을 바로 투입하기보다 실제 사용할 질문으로 평가해야 한다고 제안합니다.
엔드투엔드 평가로 더 나은 에이전트 만들기
Ramp는 회계 업무를 자동화하는 에이전트를 만들며 실제 업무 단계를 반영한 엔드투엔드 평가를 설계했습니다. 여러 합성 비즈니스 환경에서 기술과 메모리의 변경을 측정한 결과, 스킬 제거와 압축은 품질을 높이거나 비용을 낮췄고 업무 방식을 추린 메모리는 평균 점수를 5.7점 높였습니다.
Jev의 실수를 0으로 줄였지만, 여전히 Flash-Lite를 씁니다
MLH는 코드 검사기와 LLM 판단기를 고르는 라우터에서 Jev와 Gemini Flash-Lite를 실제 데이터로 비교했습니다. Jev는 프롬프트를 고치자 위험한 오판을 줄였고, 두 모델을 조합하면 단독 Flash-Lite보다 비용을 낮추면서 각자의 장점을 살릴 수 있었습니다.
AI 에이전트가 사실을 읽고도 기록하지 않은 이유
회의록을 전략 보고서로 바꾸는 멀티 에이전트 파이프라인에서, 전체 점수는 양호했지만 경쟁사 관련 사실이 반복해서 누락됐습니다. 작성자는 중간 단계의 분류 기준에서 누락 원인을 찾고 수정했으며, 항목별 평가와 작은 표본의 한계도 함께 짚습니다.
LLM 4,768회 실행에서 단 한 번의 스윕도 잃지 않기 — 타임아웃·멈춤·비용을 견디는 필드 테스트 러너 만들기
CauterRule v0.3.0은 40개 코퍼스와 2개 모델을 대상으로 4,768개 trajectory-run을 완료한 필드 테스트 보고서입니다. per-trajectory timeout, 비재시도 타임아웃, 토큰 상한, 격리, 종료 시 취소라는 다섯 가지 방어 장치로 멈춘 요청 하나가 전체 평가를 막지 않게 했으며, 호출별 토큰 사용량도 비용으로 환산했습니다.