METR, Anthropic 내부 모델의 AECI 점수 증가 속도 1.9배로 추정
METR는 Anthropic이 공유한 내부 벤치마크 점수를 분석해 AECI 증가 속도가 2025년 10월 이후 이전 추세의 1.9배라고 추정했습니다. 분석에 포함된 Model 4의 AECI 점수는 178.6이며, METR는 현재 가속의 대략 80%가 AI 활용에서 비롯됐을 가능성을 제시했습니다. 이 추정은 실제 업무 성과가 아닌 벤치마크 추세를 대상으로 하며, 판단에 가장 유용했다고 본 증거 상당 부분은 공개되지 않았습니다.
METR는 2026년 11월 5일 공개한 평가에서 Anthropic 내부 모델의 AECI 점수 증가 속도가 2025년 10월 이후 이전 추세의 1.9배라고 추정했습니다. 분석에 포함된 비공개 Model 4는 2026년 9~10월 훈련을 마쳤고 AECI 점수는 178.6입니다. METR는 2026년 10월 현재 가속의 대략 80%가 AI를 활용한 연구개발에서 비롯됐을 가능성을 제시했지만, 이 비중에는 상당한 불확실성이 있다고 밝혔습니다.
평가는 2026년 8월 12일부터 10월 29일까지 진행됐습니다. Anthropic은 사전학습과 강화학습, 내부 모델의 벤치마크 점수, 훈련 연산량, AI가 연구개발에 기여한 방식에 관한 자료와 직원 인터뷰를 제공했습니다. METR는 비공개 모델 표본을 요청하거나 받지 않았습니다. 보고서의 AECI 값은 Anthropic이 공유한 내부 벤치마크 점수를 METR가 공개된 Epoch 코드를 이용해 환산한 결과입니다.
AECI는 Anthropic이 Epoch Capabilities Index를 바탕으로 만든 지표입니다. METR는 여러 벤치마크의 점수를 모델의 잠재 능력 점수로 환산하면서, 점수와 잠재 능력의 관계를 로지스틱 함수로 추정하는 방식을 기본값으로 삼았습니다. 보고서에는 2022년에 훈련을 마친 Unreleased 2022와 Model 2, Model 3, Model 4가 포함됐습니다. Model 2는 2026년 7월, Model 3는 8~9월, Model 4는 9~10월에 훈련을 마쳤습니다. 공개 모델에는 공개된 스냅샷을, 미공개 모델에는 내부에서 충분히 사용된 스냅샷을 포함했으며, 두 경우 모두 직원 다수가 이용할 수 있었던 시점을 기준으로 모델 날짜를 정했습니다.
1.9배는 특정 모델 하나와 직전 모델의 점수 차이가 아니라, AECI 점수 추세의 두 구간에서 추정한 증가율의 비입니다. METR는 2025년 10월 7일을 경계로 추세를 나눠 비교했습니다. 이 결과는 2025년 10월 이후 1년 동안 벤치마크에서 이룬 진전이 2023년 10월부터 2025년 10월까지의 진전과 비슷하다는 뜻입니다. 기본 분석의 95% 신뢰구간은 1.5~2.8배입니다. 이 구간은 각 모델의 AECI 점수 추정 오차를 반영하지만, 추세 분석에 포함할 모델을 선택하는 데서 생기는 불확실성은 포함하지 않습니다. 과제 난이도 분포를 다른 함수로 가정하면 가속 추정치는 1.1~2.9배로 달라졌습니다.
AI가 연구개발 가속에 기여한 정도를 판단할 때 METR는 연구자 인터뷰, 직원의 생산성 자기보고, 인원수와 코드·실험 사용량 등 여러 자료를 살폈습니다. 인터뷰에서 나온 가속 추정치는 폭이 넓었지만 대체로 2배 안팎에 모였다고 METR는 전했습니다. 또 2025년 말의 가속에는 AI 이외 요인이 상당히 작용했을 가능성이 있다고 봤습니다. 훈련 연산량 증가 속도가 빨라진 것이 이번 벤치마크 점수 가속의 원인은 아니라는 판단에는 확신을 보였습니다.
2026년 10월, Anthropic 직원들은 슬랙 투표에서 가장 성능이 높은 내부 모델을 쓸 때의 생산성 향상을 평균 약 12배로 보고했습니다. METR는 응답이 직원 전체를 대표하지 않을 수 있고 간단한 반응에 기반해 검토 깊이도 제한된다는 점에서 이를 느슨한 근거로 봤습니다. 개인 업무에서 보고한 생산성 향상 배수는 조직 전체의 모델 능력 증가율과 다른 지표입니다. METR는 개별 생산성 향상의 절대 수준보다 그 향상이 시간에 따라 얼마나 커지는지가 전체 연구개발 진전의 가속을 설명하는 데 중요하다고 밝혔습니다. 현재 AI는 주로 연구개발을 보조하며, 모델 훈련의 핵심 부분에서 완전히 자율적으로 내는 기여는 아직 크지 않다고 봤습니다. 연구자들은 일부 영역에서 자율 기여의 초기 징후도 설명했습니다.
공개 보고서에는 Anthropic이 비공개 정보에 대한 삭제 권한을 행사해 빠진 내용이 있습니다. METR는 결론에 가장 유용하다고 본 증거의 다수를 공개하지 못했다고 밝혔습니다. 삭제된 증거에는 여러 해석이 가능했고, 이를 종합하는 데 METR와 Anthropic 연구자 모두 상당한 불확실성이 있었다고 설명했습니다. 공개된 자료만으로 독자가 증거를 직접 판단하기 어려워 METR의 판단에 더 많이 의존하게 된다는 점도 보고서에 담겼습니다.
AECI는 정형화된 벤치마크 과업의 점수를 바탕으로 능력을 추정하므로 실제 환경의 영향과 같은 속도로 움직인다고 볼 수는 없습니다. 특정 능력 기준을 넘어설 때 현실의 영향이 급격히 커지면 AECI가 실제 가속을 낮게 나타낼 수 있고, 측정한 능력의 실무적 효용이 줄어들면 반대로 높게 나타낼 수 있다고 METR는 설명했습니다. Model 4는 AECI에 쓰인 15개 벤치마크 모두에서 50%를 넘겼습니다. METR는 이처럼 어려운 과제가 줄어들면 모델 간 차이를 측정하기가 어려워질 수 있다고 지적했습니다.