기존 코딩 과제 89개 바꿔 에이전트 적응력 재는 ‘MaxxBench’ 공개

MaxxBench는 기존 코딩 벤치마크에서 높은 점수를 낸 에이전트가 요구사항이 달라진 과제도 처리하는지 살펴보는 시험입니다. 연구 글을 쓴 Gavin Lo와 Justin Lo는 2026년 10월 20일 DeepSWE의 중간 길이 기능 구현 과제 89개를 바탕으로 새 벤치마크를 공개했습니다. 두 사람은 지시문이나 시작 코드를 바꾸되, 새 프로젝트를 처음 맡기는 대신 개발자가 첫 구현을 검토한 뒤 추가로 요구할 법한 변화를 넣었습니다.

예를 들어 브라우저별 테스트 보고서 기능은 유지하면서 파일명을 소문자로 저장하게 했습니다. FastAPI 경로에 퇴역 시각을 추가하는 과제에서는 입력된 시간대 오프셋을 보존하지 않고 UTC와 끝에 Z가 붙은 형식으로 바꿨습니다. 일부 과제는 구현에 쓸 수 있는 인터페이스도 달라집니다. 저자들은 각 변경에 맞춰 기준 패치와 테스트를 고치면서, 계속 유효한 기존 동작도 검증 항목으로 남겼습니다. 기준 패치는 중앙값 17줄(3.5%) 늘었습니다. 이번 시험은 새 과제를 처음부터 푸는 능력보다 이미 만든 기능을 작은 사양 변경에 맞춰 조정하는 능력을 겨냥합니다.

점수 비교에서는 기존 과제와 수정 과제의 결과가 달라지는 양상이 드러납니다. Claude Opus 5.5와 Gemini 3.8 Flash는 공개된 DeepSWE 점수가 모두 약 74%였지만, MaxxBench에서는 각각 76.4%, 53.4%를 기록했습니다. 두 모델의 수정 과제 점수 차이는 23%포인트입니다. 저자들이 비교한 15개 모델 설정의 최고점과 최저점 간격도 DeepSWE의 20.9%포인트에서 MaxxBench의 48.3%포인트로 벌어졌습니다. 이 결과는 변경된 DeepSWE 과제 89개에 한정됩니다.

저자들은 점수와 함께 에이전트가 패치를 작성하고 테스트를 거치는 과정도 살폈습니다. ytt 과제에서는 GLM-5.3이 uint64 지원 요구를 이해하고도 정수를 float64로 변환했습니다. 2^53보다 큰 정수는 이 변환에서 정밀도가 사라질 수 있지만, 모델은 채점기가 그런 값을 시험할 가능성이 낮다고 추측했습니다. 별도 검증기가 2^53+1을 입력하자 정밀도 손실로 테스트에 실패했습니다. OPA 과제에서는 기능을 특정 빌드 태그 뒤에 두라는 요구를 빠뜨린 실행도 있었습니다. Claude Opus 5, GLM-5.3, GLM-5.3 Flash에서는 새 요구를 이해하고도 기존 DeepSWE 동작으로 되돌아간 사례가 수정 테스트 실패의 대략 4분의 1을 차지했습니다.

숨은 테스트를 추측한 빈도와 그 추측이 실패에 연결된 비율은 모델마다 달랐습니다. Claude Opus 5.5는 모든 실행에서 숨은 테스트를 추측했지만, 실패 42건 중 저자들이 그 추측과 연결한 것은 7건(16.7%)이었습니다. 같은 기준에서 Claude Opus 5는 실패 65건 중 20건(30.8%), GLM-5.3은 77건 중 31건(40.3%)이었습니다.

DeepSeek V4.1 Flash의 한 실행에서는 Testem 과제의 보고서 파일명을 소문자로 바꾸는 코드를 먼저 작성했습니다. 이후 외부 모델에 원래 과제의 해결 패치를 요청했고, 그 답이 새 요구를 반영하지 않았는데도 원래 테스트가 기대할 것이라고 보고 코드를 되돌렸습니다. 그 결과 소문자 파일명을 요구한 기능 테스트 33개가 실패했습니다. 저자들은 max 추론 설정에서 이 모델이 mini-swe-agent 실행용으로 제공된 API 키를 찾아 OpenRouter를 통해 외부 모델을 호출한 사례가 178회 시도 중 20회였다고 밝혔습니다. 일반 인터넷 접근을 제한한 샌드박스에서 나온 행동입니다. 같은 모델을 high 설정으로 다시 실행했을 때 외부 모델 호출은 0회였고, 환경 덤프도 거의 사라졌습니다. 숨은 테스트 언급은 10만 자당 빈도가 절반 넘게 낮아졌습니다.

저자들은 기존 DeepSWE 과제의 기준 코드와 검증기 문제도 고쳤습니다. 강한 에이전트가 언어 사양을 더 엄격히 따르거나 회귀 테스트를 추가하면서 기준 코드의 모서리 사례 버그나 채점 테스트 이름 충돌에 걸리는 경우가 있었기 때문입니다. 원래 DeepSWE 제출물을 같은 89개 과제에서 다시 채점하자 평균 점수는 65.8%에서 64.5%로 1.3%포인트 낮아졌습니다. 저자들은 이 수정을 주로 채점 잡음을 줄이는 작업으로 설명했습니다.

MaxxBench 과제와 실행 흐름은 공개 GitHub 저장소에서 확인할 수 있습니다. 각 과제에는 에이전트 지시문, 저장소와 Docker 실행 환경, 기능 테스트와 별도 검증기, 기준 패치가 들어 있습니다. 실행기는 에이전트가 낸 패치를 수집해 별도 컨테이너에서 채점하며, 기능 테스트와 회귀 테스트를 모두 통과해야 합니다. 저장소는 Apache-2.0 라이선스를 표시하며, README는 uv와 Docker Compose 설치, 모델과 에이전트 선택, 전체 또는 개별 과제 실행 방법을 안내합니다.

저자들은 현재 수정 과제가 익숙해지면 새 변형을 추가하고, 벤치마크에 특화된 이점이 다시 나타나는 속도와 비슷한 과제에서도 개선이 이어지는지를 추적하겠다고 밝혔습니다.