Reddit

Artificial Analysis Intelligence Index v5 released

Artificial Analysis Intelligence Index v5 공개

Artificial Analysis가 언어 모델의 지능 점수와 작업당 비용을 비교하는 Intelligence Index v5를 공개했습니다. 분야별 순위에서는 Claude Opus 5.5가 여섯 영역 모두 1위이며 GPT-6 계열과 Claude 모델의 순위가 뒤를 잇습니다. Reddit에서는 새 평가가 실제 사용 경험과 맞는지, 벤치마크 선정과 가중치가 결과를 좌우했는지를 두고 의견이 갈렸습니다.

에디터 노트

한 지수의 순위표만으로 모델의 전반적인 실사용 품질을 확정하기는 어렵습니다. 이번 공개 표에서는 Opus 5.5가 여섯 분야 모두 1위이고 GPT-6 계열도 상위권에 있지만, 본문에는 벤치마크 구성과 가중치, 비용 계산의 세부 조건이 없습니다. 따라서 점수 차이가 어떤 과제에서 생겼는지 표만으로 검증하기 어렵습니다. Reddit에서는 FrontierCode 2.0 도입과 CritPt, HLE 수정이 개선이라는 반응이 나왔고, 다른 이용자들은 Program-Bench 제외와 벤치마크 개편이 OpenAI 모델에 유리한 결과를 만들었다고 의심했습니다. 각 분야에 동일한 25%를 배정했다는 댓글은 임의 가중치 비판을 일부 반박하지만, 어느 벤치마크를 선정했는지에 대한 질문까지 해소하지는 않습니다. 실제 사용 경험도 장기 개발과 문서 검토처럼 과제에 따라 지수 순위와 다를 수 있음을 보여줍니다. 현재 자료로 판단할 수 있는 범위는 여섯 분야의 상대 순위이며, 비용 대비 성능이나 전체적인 모델 우열은 세부 평가 조건을 확인해야 비교할 수 있습니다.

AI 요약

Artificial Analysis가 주요 언어 모델을 자체 평가한 Intelligence Index v5를 공개했습니다. 사이트는 모델의 지능, 속도, 비용을 비교하고, 지능 지수 과제당 비용도 제시합니다. 공개된 표는 Finance & Accounting, Strategy & Ops, Legal, Healthcare & Medical, Engineering, Economics 여섯 분야의 순위와 점수를 보여줍니다. 다만 추출된 자료에는 평가에 포함된 개별 벤치마크와 가중치, 비용 산정 방식이 나오지 않습니다.

분야별 비교

Claude Opus 5.5가 여섯 분야에서 모두 1위입니다. 점수는 58~65점이며 Engineering에서 65점으로 가장 높습니다. GPT-6 Astra는 Finance & Accounting, Legal, Engineering에서 2위이고, Strategy & Ops와 Economics에서는 3위입니다. GPT-6.1 Sol은 Engineering 3위, Healthcare & Medical과 Economics 4위입니다. Claude Sonnet 5.5는 Strategy & Ops와 Healthcare & Medical에서 2위입니다. Claude Fable 5.1은 Economics에서 2위입니다.

Kimi K3.1 Pro는 여섯 분야 모두 6~9위에 들고, Qwen3.8 Max와 DeepSeek V4.1 Flash는 대체로 하위권입니다. 각 분야 표의 순위와 괄호 안 점수는 서로 다른 정보이므로 순위만으로 비용 대비 성능을 알 수는 없습니다. 사이트는 비용 대비 지능 지수 과제 비교도 제공한다고 밝혔지만, 추출된 본문에는 해당 그래프의 구체적인 수치가 없습니다.

Reddit 반응

  • @EtadanikM — GPT-6.1 Sol이 Opus 5.5에 이렇게 가까운 점수라는 결과는 여러 차례 반복하는 장기 개발 경험과 맞지 않습니다. 장기 개발 능력을 측정하는 주요 벤치마크 중 하나인 Program-Bench가 지수에 없는데, Anthropic에 유리해서 제외한 것 같다고 봅니다.
  • @Tystros — FrontierCode 2.0을 넣은 점이 좋습니다. 현재 가장 나은 코딩 벤치마크처럼 보이고 CritPt와 HLE도 바로잡았습니다. 이제 이 지수는 쓸모없는 수준을 벗어나 꽤 괜찮아졌습니다.
  • @FateOfMuffins — Epoch ECI와 비교하면 일부 모델의 점수가 서로 다릅니다. ECI가 Sonnet 5.5를 낮게 평가했거나 Artificial Analysis가 높게 평가했을 가능성이 있습니다. 나머지는 대체로 비슷한 편입니다.
  • @EtadanikM — 벤치마크를 바꿔 OpenAI 모델 점수를 올린 것 아니냐는 의문이 듭니다. OpenAI가 잘하는 새 벤치마크는 넣고 Program-Bench처럼 상대적으로 약한 벤치마크는 넣지 않았다고 지적합니다.
  • @FateOfMuffins — 각 영역의 비중이 지식 업무, 코딩, 과학, 일반 능력에 각각 25%라면 임의로 가중치를 조절했다는 해석과는 거리가 있어 보입니다.
  • @Tkins — 코딩에 25%를 배정한 점이 문제라고 봅니다. AI를 쓰는 사람 중 코딩 용도로 쓰는 비율이 얼마나 되는지 의문이며, 코딩은 지식 업무나 과학보다 범위가 좁다고 말합니다.
  • @AP_in_Indy — Sol을 몇 주간 주로 사용했으며 작업을 상당히 진행했지만, 완성도를 높이려고 Astra로 바꾸자 Astra가 더 높은 품질로 마무리했습니다. Sol은 매우 근접했지만 결과의 완성도는 달랐다고 설명합니다.
  • @Classic-Trifle-2085 — Argon은 문서 검토에서 실제로 없는 법률 조항을 만들어내거나 원문을 다시 쓴 뒤 그 재작성본의 오류를 지적한 적이 있다고 말합니다. 다른 모델이 그런 피드백을 불필요한 내용으로 걸러내느라 웃었던 경험도 덧붙입니다.

원문: Artificial Analysis / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗