AI 벤치마크 점수와 실제 업무 사이, 무엇을 재고 무엇을 놓칠까

평가 점수보다 먼저 물어야 할 것: 무엇을 대표하나

‘미국 노동시간의 90%는 AI 벤치마크가 충분히 다루지 않는 업무에 쓰입니다’는 모델 점수의 해석에 앞서 평가 범위의 대표성을 문제 삼습니다. Mercor는 29개 벤치마크의 프롬프트를 O*NET 업무에 연결해, 923개 직업 중 208개에만 벤치마크 프롬프트가 5개 이상 매핑됐다고 보고합니다. 이 기준으로는 미국 노동시간의 90%가 기존 벤치마크의 거의 또는 전혀 다루지 않는 업무에 해당한다고 추정하지만, 연구진은 초기 목록이 불완전하고 추정치가 잠정적이라고 명시합니다.

이 자료가 보여주는 것은 모델이 실제 직장에서 얼마나 잘하는지의 직접 측정치라기보다, 현재 평가가 경제 전반의 일을 얼마나 포괄하는지에 관한 지도입니다. 벤치마크 프롬프트를 O*NET 업무에 연결한 뒤 업무별 노동시간 비중을 결합한 추정이며, 작업별 문항이 적거나 품질이 고르지 않을 수 있고 실제 인간 생산성 향상도 측정하기 어렵다고 Mercor는 지적합니다. 따라서 ‘90%’를 모델의 업무 실패율로 읽을 수는 없습니다.

안전한 선택만으로는 충분하지 않다

‘AI 에이전트 벤치마크: 파괴 도구와 그 도구가 필요한 작업을 모델 9개에 맡겼습니다’는 범위의 넓이보다 도구 사용 판단의 균형을 겨냥합니다. 같은 강력한 도구가 어떤 상황에서는 과도한 권한이고, 다른 상황에서는 승인된 작업에 꼭 필요하도록 84개 시나리오를 구성했습니다. 안전한 경로가 있는 경우의 절제와 강력한 도구가 필요한 경우의 실행을 함께 채점해, 한쪽만 고집하는 모델은 높은 점수를 얻지 못하게 설계했습니다.

그 설계에서는 조심성만 보면 놓치는 실패가 실제 점수 차이로 드러났습니다. 이 첫 공개 측정에서 Claude Opus 5는 절제 항목에서 1.00을 받았지만 승인된 실행 항목에서는 0.24였고, 허가된 42개 작업 중 32개를 끝내지 못해 균형 정확도 0.62를 기록했습니다. 반면 세 모델은 양쪽 모두 만점이었습니다. 다만 도구는 실제 인프라에 영향을 주지 않는 모의 장치였고, 모델별 측정은 84개 시나리오를 한 번 실행한 결과라 반복 안정성은 아직 확인되지 않았습니다. 이는 실제 운영 성과의 증명이 아니라, 한 가지 안전 지표가 과도한 기권을 가릴 수 있음을 보여주는 실험입니다.

긴 과제와 상대의 대응은 별도의 시험이다

‘Show HN: Gemini 4 Argon이 스타크래프트를 플레이합니다’는 실제 업무를 넓게 표집하는 대신, 한 시간 동안 C++ 프로토스 봇을 만들고 연습시킨 뒤 고정된 상대들과 겨루게 하는 장시간 과제를 제시합니다. 점수는 모델별 5회 실행에서 경쟁 인간 제작 봇과 데모 봇을 상대로 한 평균 승률입니다. GPT-6 Astra가 모델 중 1위였지만, 가장 강한 인간 제작 봇 세 팀을 상대로는 이 모델도 7%만 이겼습니다. 따라서 과제 안에서의 상대적 순위와 인간 제작 상위 봇에 대한 경쟁력은 구분해야 합니다.

StarSkirmish의 결과는 반복과 실험 조건도 점수 해석에 중요하다는 점을 보여줍니다. Gemini 4 Argon은 5회 실행의 최고·최저 점수 차이가 18점으로, GPT-6 Astra의 9점이나 Claude Opus 5.5의 8점보다 컸습니다. 또 v0.2는 모델마다 연구소의 자체 CLI 하네스와 가능한 최고 추론 설정을 사용했고, v0.1의 공통 하네스·‘high’ 설정과 달라졌습니다. 작성자는 다른 벤치마크와의 상관관계도 이전 버전과 달라졌다고 보고합니다. 이 점수는 구체적인 장시간 코딩·게임 과제를 비교하지만, 서로 다른 실행 환경의 차이까지 무시한 보편적 능력 척도로 보기는 어렵습니다.

‘AI에는 맞서 반응하는 테스트가 필요합니다’는 게임에서 상대의 대응으로 상황이 바뀌고, 앞선 판단의 결과가 다음 문제에 영향을 준다는 점을 평가의 이유로 듭니다. eSlams는 여러 종류의 게임·제어 환경을 지원하는 공개 경기장과 기록 가능한 엔진을 소개하며, 규칙 집행과 기술적 실패를 구분하고 대체 수가 개입된 실행은 유효 점수에서 제외한다고 설명합니다. 그러나 이 자료는 평가 체계의 취지와 설계를 제시하는 글이지, 특정 모델이 게임에서 얻은 비교 성적을 보고한 결과는 아닙니다.

서로 보완하는 증거, 남는 한계

네 자료는 같은 것을 재지 않습니다. Mercor의 지도는 벤치마크가 어떤 직업·업무를 빠뜨리는지 묻고, 에이전트 실험은 승인 여부에 따라 절제와 실행을 구별하는지 봅니다. StarSkirmish는 제한 시간 안에 코드를 만들고 연습한 결과를 경기 승률로 평가하며, eSlams는 상대 반응과 연속된 의사결정을 기록할 수 있는 평가 환경을 제안합니다. 그러므로 이 자료들을 하나의 점수로 합산하거나 어느 한 결과를 실제 업무 능력의 대리값으로 간주하기보다, 평가 범위·판단 방식·지속 수행·상호작용 중 무엇을 확인했는지 따져 읽어야 합니다.

특히 게임에서 이기거나 모의 도구를 올바르게 고른 결과만으로 고위험 업무에 투입할 준비가 됐다고 결론 내릴 수는 없습니다. eSlams도 게임이 지능의 완전한 시험이 아니며, 의미 있는 비교에는 반복 시행과 균형 잡힌 조건, 불확실성에 대한 설명이 필요하다고 명시합니다. Mercor 역시 직업별 점수를 만들 때 적은 문항 수와 품질 차이, 실제 인간 생산성 측정의 어려움을 남은 과제로 꼽습니다. 지금 자료들이 뒷받침하는 결론은 ‘어떤 모델이 실제 업무를 잘한다’는 단일 판정이 아니라, 벤치마크 점수의 유효 범위를 좁혀 해석해야 한다는 것입니다.