GLM-5.3 공개 — 사후 학습으로 코딩·장기 작업 성능 개선

AI 요약

Z.ai가 GLM-5.3을 공개했습니다. GLM-5.2와 기반 모델은 같고, 성능 향상은 사후 학습(post-training)에서 나왔다고 설명합니다. 개선 목표는 복잡한 코딩과 여러 단계에 걸친 장기 작업입니다. 모델은 오픈 웨이트로 제공되며, SGLang, vLLM, TokenSpeed, Transformers, KTransformers, Unsloth를 비롯한 추론 프레임워크에서 사용할 수 있습니다. Ascend NPU 환경에서는 vLLM-Ascend, xLLM, SGLang을 지원합니다.

코딩 벤치마크

Z.ai는 자체 Z.ai Code Bench에서 GLM-5.2보다 50% 개선됐다고 밝혔습니다. 공개 벤치마크에서는 Terminal Bench 3.0 점수가 28.3으로, GLM-5.2의 4.6보다 높습니다. 다만 표에 실린 Fable 5와 GPT-5.6 Sol은 각각 33.7, 34.6으로 더 높은 점수를 기록했습니다. Agents' Last Exam의 CLI 평가에서는 28.5를 기록해 GLM-5.2의 23.8보다 높았고, GPT-5.6 Sol의 28.6과 비슷한 수준입니다. 벤치마크마다 다른 모델이 앞서므로, 한 가지 점수만으로 코딩 성능 전반을 비교하기는 어렵습니다.

DeepSWE v1.1에서는 66.9로 GLM-5.2의 46.2보다 높지만 Kimi K3의 67.5에는 조금 못 미칩니다. NL2Repo에서는 58.0을 기록해 GLM-5.2보다 높고 Kimi K3와 같지만, 표의 Opus 4.8 점수는 69.7입니다. Terminal Bench 2.1에서는 88.2로 GLM-5.2의 81.0보다 높습니다. 표에 나온 GPT-5.6 Sol은 88.8입니다.

사이버 보안 평가

Z.ai는 사후 학습을 확대하는 과정에서 예상보다 빠르게 사이버 보안 능력이 발달했다고 설명합니다. CyberGym 취약점 탐지 평가에서 GLM-5.3은 84.5를 기록했습니다. 비교표에서 가장 높은 점수입니다. 익스플로잇 평가에서는 GLM-5.2 대비 향상 폭이 더 컸습니다. ExploitGym에서 2시간 조건 점수는 29에서 105로, 6시간 조건 점수는 39에서 130으로 올랐습니다. ExploitBench 점수도 24.4에서 54.4로 상승했습니다. 다만 두 익스플로잇 벤치마크에서는 표에 기재된 다른 모델들이 더 높은 점수를 기록했습니다.

평가는 Claude Code 하네스와 제한된 네트워크 도메인에서 진행됐습니다. CyberGym은 1,507개 과제를 대상으로 한 번 실행한 Pass@1 결과이며, 웹 도구를 쓰지 않았습니다. ExploitGym은 869개 과제를 평가하고, 모델별 토큰 생성 속도를 반영해 2시간과 6시간 조건을 계산했습니다. 결과 해석 시 평가 설정과 실행 횟수를 함께 살펴볼 필요가 있습니다.

추론 설정과 평가 조건

GLM-5.3은 reasoning_effort 매개변수로 추론 예산을 조절합니다. 값은 low, high, max 세 가지이며, 별도 지정이 없거나 다른 값을 넣으면 max를 기본값으로 사용합니다. 벤치마크 재현 시에도 max를 유지하라고 안내합니다. 대화 템플릿에서는 clear_thinking이 기본적으로 false이므로, 대화 용도에서는 true를 명시하라고 권합니다.

일부 평가는 긴 컨텍스트와 큰 출력 한도를 사용했습니다. Terminal Bench 3.0은 400K 컨텍스트에서 과제마다 격리된 컨테이너를 사용하고, 과제별 최대 10시간 제한을 적용했습니다. Agents' Last Exam은 1M 컨텍스트로 평가했습니다. 따라서 실제 서비스에 적용할 때는 모델 점수뿐 아니라 추론 시간, 토큰 비용, 컨텍스트 크기와 각 작업 환경의 제약도 고려해야 합니다.

원문: Hugging Face / 번역·요약: Trawling