미국 노동시간의 90%는 AI 벤치마크가 충분히 다루지 않는 업무에 쓰입니다

Mercor는 29개 AI 벤치마크를 미국 노동부 O*NET의 923개 직업, 18,797개 업무와 연결해 경제 전반의 평가 공백을 분석했습니다. 추정상 미국 노동시간의 90%는 기존 벤치마크가 거의 다루지 않으며, 연구진은 이 결과가 초기 벤치마크 목록에 따른 잠정치라고 밝혔습니다.

주제: AI 벤치마크 노동

에디터 노트

이 수치가 직접 보여주는 것은 AI의 업무 능력이 아니라 현재 평가 자료의 편중입니다. Mercor는 29개 벤치마크를 기준으로 업무를 연결했고, 업무별로 프롬프트가 5개 이상 있어야 충분히 다룬 것으로 셌습니다. 따라서 90%는 AI가 그 일을 못한다는 비율이 아니라 이 목록으로는 성능을 파악하기 어려운 노동시간의 추정치입니다. 연구진도 벤치마크 목록이 불완전하며 결과가 잠정적이라고 밝힙니다. 댓글에서는 소프트웨어 업무의 비가시적인 조율과 검증 과정이 벤치마크에 잘 잡히지 않는다는 경험담이 나왔고, 물리적 노동을 자동화하려면 소프트웨어 외에 비용과 하드웨어 문제도 남는다는 반론이 제기됐습니다. 두 의견은 직업별 평가가 업무를 얼마나 세밀하게 나누고 현실의 작업 조건을 담는지 따져야 한다는 점에서 연구의 한계와 맞닿습니다. O*NET 가중 평균을 시험한 결과도 네 직업에서 관련 업무의 3분의 1 미만만 충분히 평가됐습니다. 직업별 모델 점수를 활용하려면 평가 항목 수와 품질, 사람의 보조 업무, 물리적 작업을 함께 보완해야 합니다.

AI 요약

AI 모델이 실제 경제활동에서 어떤 일을 잘하는지 알려면 모델 성능뿐 아니라 평가 대상이 어떤 직업과 업무를 대표하는지도 살펴야 합니다. Mercor는 O*NET의 미국 직업 분류와 공개 AI 벤치마크를 연결해 Benchmark Map을 만들었습니다. 923개 직업과 22개 직업군의 업무가 벤치마크에 얼마나 포함됐는지 보여주는 자료입니다.

벤치마크가 포착하는 업무

연구진은 경제적 관련성과 품질을 기준으로 고른 29개 벤치마크의 프롬프트를 LLM 판정기에 입력해 O*NET 업무와 연결했습니다. 한 프롬프트가 여러 업무에 대응할 수 있습니다. 업무 하나가 벤치마크 프롬프트 5개 이상과 연결될 때 해당 업무를 충분히 다룬 것으로 계산했습니다. Mercor의 APEX 벤치마크 일부에서는 전문가가 붙인 태그와 LLM 판정을 대조해 태깅 방식을 검증했습니다.

이 기준으로 보면 923개 직업 중 208개만 벤치마크 프롬프트 5개 이상과 연결된 업무가 하나라도 있습니다. 22개 직업군 가운데 6개에는 그런 직업이 없습니다. 업무별 노동시간 비중은 별도 연구의 O*NET 업무 추정치를 활용해 계산했습니다. 그 결과 미국 노동시간의 90%가 기존 벤치마크에서 거의 다뤄지지 않는 업무에 쓰인다는 추정이 나왔습니다.

편중과 추정의 한계

벤치마크는 AI 자동화에 더 노출된 업무를 약 6배 더 자주 다룹니다. 소프트웨어 엔지니어링과 금융 분석 업무가 많이 포함되고 트럭 운전이나 가스 플랜트 운영 업무는 드뭅니다. AI 노출도를 고려한 뒤에도 임금 총액이 큰 직업의 업무가 더 많이 나타납니다. O*NET에서 중요도가 가장 높은 업무는 가장 낮은 업무보다 벤치마크에 포함될 가능성이 약 6~10배 높았습니다. 변호사 업무는 다루면서 비슷하게 AI 노출도가 높은 법률 비서나 법원 서기 업무는 거의 다루지 않는 사례도 제시합니다.

연구진은 90%라는 수치와 편중 분석이 초기 29개 벤치마크에 기반한 잠정 결과라고 강조합니다. 목록이 불완전하면 전체 경제의 평가 범위를 낮게 잡게 되지만, 그 편향의 크기를 산정하기는 어렵습니다. 직업군별 벤치마크 수를 제한해 범위를 넓힌 대신 소프트웨어 엔지니어링처럼 벤치마크가 많은 분야의 평가 범위는 낮게 잡힐 수 있습니다. 포화된 벤치마크를 제외하면 LLM이 쉽게 푸는 업무의 범위를 낮게 추정할 수 있고, 포함하면 실제 업무보다 단순한 평가에서 성능이 부풀려질 수 있다고 설명합니다. 경제적 현실성 같은 선정 기준에도 주관성이 들어갑니다.

직업별 성능 점수의 보정

프롬프트를 단순 평균하면 평가 항목이 많은 업무에 가중치가 쏠릴 수 있습니다. 연구진은 O*NET 업무마다 같은 비중을 주는 방식으로 직업별 성능 점수를 계산하는 방안을 시험했습니다. 투자은행, 법률, 회계, 소프트웨어 엔지니어링을 APEX 벤치마크로 분석했을 때 가중 평균과 단순 평균은 대체로 비슷했습니다. 금융 분석가 사례에서 Claude Opus 5.5 Max는 단순 평균 73.3%, O*NET 가중 평균 70.2%를 기록했습니다. 다만 네 직업에서 가중치 계산에 포함할 만큼 충분히 평가된 O*NET 업무는 전체 관련 업무의 3분의 1에도 못 미쳤습니다.

업무별 항목 수가 적어 한두 개의 질 낮은 문항이 점수를 크게 바꿀 수 있고, 벤치마크 품질을 반영하는 가중치도 아직 없습니다. 실제 직장에서는 사람이 AI를 보조 도구로 쓰는 경우가 많아 생산성 향상까지 측정해야 하지만, 연구진은 이를 대규모로 측정할 방법을 찾지 못했다고 밝혔습니다. 미국 일자리의 약 63%에 물리적 업무가 포함된다는 추정도 현재 벤치마크가 다루기 어려운 영역으로 제시합니다.

Hacker News 반응

@verdverm — 사람이 하는 일의 상당 부분에는 학습과 에이전트 작업에 필요한 촘촘한 피드백 루프가 없습니다. 그래서 일자리 종말은 나타나지 않고 생산성 향상도 장기적으로 연 2%에 더 가까워 보입니다.
- @ChrisLTD — 소프트웨어 엔지니어가 많은 이 포럼에서는 AI가 코드 생성뿐 아니라 모든 사람의 일자리를 대체한다고 너무 쉽게 믿을 수 있습니다.
@qurren — 제 소프트웨어 엔지니어 업무의 약 80%는 이해관계자들 사이의 의견 충돌을 해결하는 일입니다.
- @duttish — 사내 정치 50%, 이해관계자와 기대치 관리 30%, 설계와 개발 10%입니다.
@NorthSouthNorth — 제 경험으로는 모두가 더 많은 결과물을 만들고 있습니다. 고객은 더 많은 비용을 내지 않고 우리도 더 오래 일하지 않으며 팀 규모도 그대로입니다. 예전 같으면 4~6명이 더 필요했을 프로젝트도 했지만, 전에는 아예 하지 않거나 3~4배 더 오래 걸렸을 겁니다.
@fasterik — 이 통계만으로 너무 많은 것도 너무 적은 것도 결론 내립니다. 지금 AI가 육체노동을 자동화하지 못한다고 해서 미래에도 못 한다는 뜻은 아닙니다. 반대로 벤치마크에서 성능이 좋다고 일자리를 대체한다는 뜻도 아닙니다.
@robotresearcher — 쓰레기 줍는 로봇의 제어 AI를 공짜로 준다고 상상해 보세요. 로봇 본체가 어떤 모습일지, 비용이 얼마일지도 생각해 봐야 합니다. 모터와 무게, 에너지 저장 같은 문제가 남아 있고 모두 값싸지는 않습니다.
- @jrowen — 그런 로봇을 만들 완벽한 설계도를 준다면 어떨까요? 그 문제들이 제어 소프트웨어보다 더 어려워 보이지 않습니다.
@10111001 — AI가 고임금 일자리를 빼앗는다면 사무직 종사자들은 지금부터 재교육을 받고 생활수준을 낮추는 게 현명하겠군요. 임금이 낮은 일에는 인간의 손길이 필요하다는 이유로 사람들이 몰릴 겁니다.
@root_axis — LLM을 써서 일을 더 효율적으로 하는 것은 재귀적 자기개선이 아닙니다. 재귀적 자기개선에는 자동화된 LLM 반복 과정이 필요하지만 지금은 거기까지 오지 않았습니다.

원문: Mercor / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗