METR, 앤트로픽 모델의 채점 가능한 과제 역량 향상 속도 2배 추정

비영리 연구·평가기관 Model Evaluation and Threat Research(METR)는 11월 5일 공개한 보고서에서, 2026년 10월 기준 앤트로픽이 채점 기준이 명확한 과제에서 모델 역량을 높이는 속도를 2024년 3월부터 2025년 10월까지보다 약 2배로 추정했습니다. METR가 말하는 2배 가속은 이전 성장률로 2년간 이뤄질 진전이 1년 안에 발생하는 속도입니다. 평가진은 실제 값이 1.3~3배일 가능성도 열어뒀으며, 채점하기 어려운 현실 과제에도 같은 속도가 적용되는지는 더 불확실하다고 밝혔습니다.

2배 판단과 AECI 추세

METR의 약 2배 추정은 내부 자료와 직원 인터뷰를 종합한 평가진의 판단입니다. 별도 정량 분석에서는 앤트로픽 내부 모델의 벤치마크 점수를 AECI로 환산해 추세를 비교했습니다. AECI는 Epoch AI의 Epoch Capabilities Index를 바탕으로 앤트로픽이 만든 지표로, 여러 벤치마크 점수를 종합해 모델 역량 변화를 추적합니다. 표준 함수 설정에서 2025년 10월 이후 내부 모델의 AECI 점수 상승률은 그 이전 추세의 1.9배로 추정됐고, 95% 신뢰구간은 1.5~2.8배였습니다.

이 신뢰구간은 모델별 AECI 점수의 불확실성을 반영하지만, 추세 분석에 포함할 모델 표본을 고르는 데서 생기는 불확실성은 포함하지 않습니다. 벤치마크 점수와 잠재 역량의 관계를 추정하는 함수를 바꾸면 가속 추정치는 1.1~2.9배로 달라졌습니다. METR는 cauchit 함수를 제외하면 각 설정의 데이터 적합도가 대체로 비슷했고, 어느 하나를 사전에 선호할 강한 근거도 없다고 설명했습니다.

평가는 2026년 8월 12일부터 10월 29일까지 11주간 진행됐습니다. 앤트로픽은 내부 모델의 벤치마크 점수와 사전학습·강화학습, 훈련 연산량, AI 사용에 따른 속도 변화 자료를 제공했고, METR는 핵심 직원 약 15명을 인터뷰했습니다. METR는 앤트로픽이 처음 정한 범위보다 많은 자료를 공유했다고 밝혔습니다. 인터뷰는 사전에 정한 넓은 주제로 진행됐지만 특히 민감한 주제는 제외됐습니다.

METR는 관련 자료를 요청할 수 있었지만 앤트로픽이 요청을 승인하거나 거절할 수 있었고, 실제 자료 범위는 양측 협의로 정했습니다. 일부 요청은 거절됐습니다. AECI 분석에는 앤트로픽 내부에서 사용하던 미공개 모델의 점수 스냅샷도 들어갔지만, METR는 해당 모델의 샘플을 요청하거나 제공받지 않았습니다. METR는 관련 정보의 대부분에 접근했다고 보면서도 정보 흐름은 비교적 제한적이었으며, 직원 수준의 접근이 평가를 더 깊게 할 수 있다고 밝혔습니다.

공개 보고서에 담기지 않은 증거

METR는 결론에 가장 유용하다고 본 증거의 과반이 앤트로픽의 비공개 처리로 공개 보고서에서 빠졌다고 밝혔습니다. 핵심 중간 지표와 알고리즘 개선 추정치를 제공받았지만 결과를 보고서에 싣지 못했습니다. 연구개발 투입 자료는 대부분 제공받았으나 결과를 공개하지 않았고, 병목과 전망 자료는 일부만 받아 결과를 설명하지 않았습니다. 직원 인터뷰와 AI 기여 증거는 일부 공개했고, 내부 모델의 벤치마크 역량은 다뤘습니다.

새 맥락이 제공되면서 METR는 주요 자료의 해석을 여러 차례 바꿨고 일부 해석이 여전히 틀렸을 가능성도 있다고 밝혔습니다. 앤트로픽은 비공개 정보에 대한 처리 권한을 행사했습니다. 이에 따라 METR는 더 자세한 가속 추정치와 AI 기여도, 연산량·데이터·알고리즘별 기여 분석, 미래 모델 전망을 공개하지 못했다고 설명했습니다. 앤트로픽은 다른 AI 개발자의 속도를 높일 수 있는 기밀을 제거하려는 조치라고 밝혔습니다.

평가 범위도 바뀌었습니다. 계약 초기에는 역량 개발과 안전 분야에 연산량을 각각 얼마나 배분하는지 검증하는 작업이 포함됐습니다. 앤트로픽은 평가 도중 이 검증을 계약 범위에서 제외했고, METR는 연산량 사용에 관한 실질적인 결론을 내리기 전에 작업을 중단했습니다. 앤트로픽은 당분간 위험 평가에 집중하고 연산량 배분 검증은 추후 다시 검토하겠다고 설명했습니다. 이는 훈련 연산량 증가율이 모델 역량 가속의 원인인지 살핀 분석과는 별개의 질문입니다.

METR는 훈련에 쓰는 연산량의 증가 속도가 빨라진 점을 가속의 원인으로 배제할 수 있다고 밝혔습니다. AI 사용이 어느 정도 기여했는지는 직접 분리하기 어렵다고 했습니다. METR의 주관적 추정으로는 2026년 10월 현재 가속의 과반, 어쩌면 약 80%가 AI 사용에서 왔을 수 있습니다. 이 판단에는 상당한 불확실성이 있으며, METR는 2025년 후반의 가속에는 AI 이외의 요인도 영향을 줬을 가능성이 있다고 덧붙였습니다.

직원들이 체감한 AI 도구의 업무 속도 향상은 전체 연구개발 속도와 다른 지표입니다. 직원들이 최신 모델을 이용한 개별 업무의 속도 향상을 자기보고한 사내 Slack 설문에서는 2026년 10월 응답이 12배까지 올라갔습니다. METR는 이 응답을 근거가 제한적인 자료로 설명하며, 개별 속도 향상 수치가 전체 역량의 가속률과 대응하지 않는다고 밝혔습니다. METR의 평가에 따르면 AI는 모델 훈련의 가장 중요한 부분에서 아직 크게 자율적으로 기여하지 못합니다. 연구자들은 AI가 연구를 보조한다고 설명했지만, 일부 영역에서는 자율 기여가 커질 조짐도 전했습니다.

METR는 알고리즘 연구, 훈련·실험 연산량, 데이터 측면에서 향후 12개월 동안 진전을 막을 뚜렷한 병목을 발견하지 못했다고 밝혔습니다. 다만 더 상세한 정보를 받으면서 병목에 대한 평가가 여러 차례 바뀌어 현재 판단에 확신이 높지 않다고 덧붙였습니다. METR는 AECI 자료가 드물고 연구 속도 변화를 늦게 반영할 수 있으며, 채점하기 쉬운 과제에 맞춘 결과가 실제 업무의 변화를 과장할 가능성도 제시했습니다.

이번 평가는 다리오 아모데이가 9월 12일 AI 능력 향상 속도를 늦춰 안전 조치가 따라잡도록 해야 한다고 공개적으로 주장한 시기와 겹칩니다. 앤트로픽 공동창업자 샘 맥캔들리시는 보고서의 여러 결론이 자신의 견해와 맞는다면서도 AI가 연구를 얼마나 빠르게 하는지 정확히 말하기 어렵다고 밝혔습니다.