Artificial Analysis 판단 모델 지수서 Gemini Decision 1 66점…공동 최고점보다 7점 낮아

Artificial Analysis가 공개한 Decision Index v2.1에서 Google의 Gemini Decision 1은 66점을 받았습니다. Elephant 9B와 Jev 1.14도 같은 점수였고, Drex Max v1.1과 GLiDE v1.2는 공동 최고점인 73점을 기록했습니다. Google은 2026년 11월 11일 Gemini Decisions API와 함께 이 모델을 발표했습니다. Gemini Decision 1은 답변 문장을 한 토큰씩 생성하는 대신 입력에 정해진 후보들을 대조해 한 번의 계산으로 점수화하고, 후보별 확률을 돌려줍니다. Google은 도구 선택, 정책 검사, 모델 라우팅처럼 결과 범위가 정해진 판단에 쓰도록 소개했습니다.

Decision Index는 여섯 평가의 가중 평균입니다. 문서 판단과 정보 추출을 시험하는 AA-Paperclip이 30%를 차지합니다. 업무 문서 판단 평가인 EvalSafe-O*NET-AA와 지식·환각 평가인 AA-Omniscience-Decision, 객관식 추론 평가인 HLE-MultiChoice는 각각 15%이며, 도구 호출 평가 When2Call은 10%입니다. 나머지 15%는 AA-Symmetry에 배정됩니다. 이 평가는 선택지의 순서나 표현을 바꾸거나 질문을 부정형으로 바꿔도 판단이 유지되는지를 측정합니다.

앞의 다섯 평가에는 모델이 고른 답의 정오와 그 답에 부여한 확률을 함께 반영하는 Decision Score를 적용합니다. AA-Symmetry는 질문과 선택지를 변형했을 때 판단이 일관되는지를 별도 점수로 평가합니다. 따라서 66점은 여섯 평가를 가중 평균한 지수 점수로, 답의 정확성·확률과 변형된 질문에 대한 일관성을 반영합니다.

Artificial Analysis는 Gemini Decision 1이 지식과 추론 평가에서 의사결정 모델 중 가장 높은 점수를 기록했다고 밝혔습니다. 문서 판단·정보 추출 평가인 AA-Paperclip에서는 이력서, 영수증·송장, 연구 논문 1,500건을 대상으로 문서마다 다섯 가지 판단과 열 가지 정보 추출을 요구합니다. 문서별 15개 답을 모두 맞힌 비율은 Gemini Decision 1이 33%, Drex Max v1.1이 63%였습니다. 이는 개별 질문의 정답률이 아니라 15개 답을 모두 맞힌 문서의 비율입니다.