LLM 성능을 바라보는 사람들의 간극이 더 벌어지고 있습니다

AI 요약

Andrej Karpathy는 LLM의 성능을 둘러싼 사람들의 이해가 점점 더 크게 벌어진다고 봅니다. 대략 60억 명, 세계 인구의 75%는 LLM을 거의 접하지 않았고, 10억~20억 명은 무료 ChatGPT류 제품을 가끔 써보는 정도라고 추산합니다. 이들에게 LLM은 서툰 챗봇이나 조금 나은 검색 도구, 글쓰기 보조 도구로 보입니다. 기술 분야가 아닌 직종의 전문가도 대체로 이 수준에 머뭅니다. 업무에서 직접 써보기보다 주변 설명을 듣는 경우가 많기 때문입니다.

경험 격차를 만드는 세 가지 층위

수학과 코딩 분야에서 최전선급 모델을 업무에 쓰는 사람은 약 2,000만 명, 인구의 0.2%로 추산합니다. 이들은 몇 주에서 몇 달 걸리던 복잡한 프로젝트를 에이전트에게 맡기는 경험을 합니다. 앱을 새로 만들거나 기존 앱을 복제하고, 다른 언어로 옮기거나 바이너리에서 역공학하는 일도 그 예입니다. Karpathy는 이런 변화가 최근 빠르게 진행됐다고 덧붙입니다. 자신도 1년도 채 전에는 코드 편집기에 명령어를 직접 입력하고, 자동 완성으로 짧은 부분을 보완하며 코드를 작성했다고 말합니다.

내부에서 최전선 시스템을 쓸 수 있는 사람은 약 5,000명, 인구의 0.00006%에 불과하다고 추산합니다. 이들은 수천 개 에이전트가 몇 주간 협력하는 대규모 소프트웨어 작업을 미리 경험합니다. Karpathy가 든 사례에는 제로데이 취약점 발굴, 기계 속도로 이뤄지는 사이버 공격과 방어, 과학 연구, 수학의 전진이 포함됩니다. 이런 결과를 사람이 검토하고 이해하는 속도가 뒤처질 조짐도 보인다고 말합니다. OpenAI와 Hugging Face의 사건을 둘러싼 분석이 몇 달째 이어지고, 최전선 수학 논문 722편을 수학자들이 검토하는 데도 시간이 걸릴 수 있다는 예를 듭니다.

Karpathy는 이 간극을 만드는 요인으로 문제의 규모와 중요도, 모델 성능의 편차, 접근 권한을 꼽습니다. 간단한 질문에 짧게 답하는 일은 시스템에 큰 부담을 주지 않습니다. 효과를 체감하려면 사용자가 실제로 중요하게 여기는 크고 어려운 문제를 맡겨야 합니다. 또 LLM의 성능은 분야마다 고르지 않습니다. 보상이 검증하기 쉽고 경제적 가치가 큰 디지털 작업, 특히 수학과 코딩에서 강점을 보입니다. Karpathy는 검증 가능한 보상을 주는 강화학습과 수익성에 따라 구성된 학습 환경이 이런 편차를 만든다고 설명합니다. 마지막 요인은 무료·유료·내부 사용으로 갈리는 접근 권한입니다.

성능뿐 아니라 검증 능력도 병목입니다

Karpathy가 말하는 현재의 특이한 상황은 서로 다른 경험이 한 시기에 함께 존재한다는 점입니다. 대다수는 LLM을 거의 써보지 않았고, 써본 사람도 어설픈 챗봇으로 기억합니다. 많은 직장인은 생산성 향상을 조금 느끼는 데 그치지만, 일부 전문가는 성능 곡선이 급격히 치솟는 듯한 경험을 합니다. 그는 무료 ChatGPT를 지난해쯤 잠깐 써본 뒤의 인상으로 현재 AI를 판단하는 사람이 많다고 지적합니다. 다만 제공된 글은 이 설명을 이어가던 중 끝나므로, 여기서는 그가 제시한 간극과 원인까지 다룹니다.

Hacker News 반응

• @mccoyb — OpenAI와 Anthropic이 공개하는 소프트웨어를 기준으로 판단해야 한다면, 내부에서 쓴다는 5,000명은 어떻게 설명해야 할지 모르겠습니다. 내부 모델이 몇 배 더 좋다고 가정해도, 공개 시연은 제대로 작동해야 하지 않나요?
  • @spiderice — Claude Code나 Codex가 작동하지 않는다고 말하는 건가요? 2026년 10월에도 그렇게 말한다면, 도구를 잘못 쓰고 있는 겁니다.
  • @mccoyb — 최근 DevDay 얘기입니다. Claude Code에도 버그가 여전히 있고 거의 매일 겪습니다. 초창기보다 훨씬 나아졌지만 최고의 하네스는 아닙니다. 에이전트로 좋은 소프트웨어를 만드는 사람은 오히려 연구소 밖에 있는 것 같습니다. 모델이나 모델을 가진 쪽을 의심하게 됩니다.
• @ashleyn — LLM이 만든 결과를 사람이 검증하는 능력이 실제 한계가 될 거라고 봅니다. 제가 일하는 곳에서 AI가 만든 코드를 사람이 검토하는 일은 이미 형식에 그칩니다. 제가 맡은 코드는 직접 보려고 하지만 팀에서 실질적으로 일하는 사람이 몇 명 남지 않았습니다. 보안이나 악성코드, 프롬프트 인젝션을 살피는 팀도 대개 대충 검토합니다. 코드 검증 품질은 떨어졌고 버그 보고가 늘었습니다. 출력 속도를 사람이 따라가지 못하면, 기업에는 그게 경제적으로 가장 합리적인 선택이 될 수 있습니다. 품질 저하에 따른 법적 책임이나 능력 향상의 정체가 AI 거품을 꺼뜨리는 원인이 될 수도 있습니다.
  • @JBits — 사람이 검증할 능력이 부족하다는 설명에는 의문이 있습니다. 사람들에게 검증할 유인이 부족한 것일 수도 있습니다. 수학자들이 AI 증명을 확인하는 일은 OpenAI를 위한 무급 노동이고, 논문으로 발표할 수 있는 연구 시간을 낭비합니다. 출력물의 잡음이 검증 부담을 키우기도 합니다.
• @tripleee — Karpathy는 뉘앙스를 일부러 덜어내 주장을 극적으로 들리게 합니다. 에이전트가 몇 주 걸릴 대규모 프로젝트를 프롬프트 하나로 끝낸다는 말은, 적어도 품질을 갖춘 결과물에 관해서는 맞지 않습니다. 이미 규칙이 잘 문서화되고 코드로 결과를 확인할 수 있는 포팅이나 번역에서는 어느 정도 통합니다. 챗봇의 정보 답변은 확인 없이 믿기 어렵지만, 답이 검증되는 문제에는 강합니다. 서로 다른 능력을 같은 축으로 묶어 주장에 힘을 싣는 것 같습니다.
  • @jfrbfbreudh — 축하합니다. 자신이 그 집단에 속하지 않는다는 점을 발견하셨네요.
  • @bigstrat2003 — 그런 집단은 없습니다. 전부 과장이고 실체는 없습니다.
  • @tripleee — AI가 전부 과장이라는 말에는 동의하지 않습니다. Opus 5.5는 인상적입니다. 다만 Karpathy의 글은 너무 과장돼 있고, 입소문을 노리고 쓴 것처럼 보여 답답합니다.
• @skybrian — 몇 주나 몇 달 걸릴 프로젝트를 프롬프트로 끝낸다는 말이 정말인가요? 저는 먼저 대화를 몇 차례 하며 바꿀 부분, API, 데이터베이스 스키마, URL 구조를 확인하고 커밋 단위로 나눕니다. 그다음 서브에이전트로 한 번에 3~10개 커밋을 구현합니다. UI는 대개 제대로 나오지 않아 후속 수정이 필요합니다. 다른 사람들도 이런 경험을 하나요?
• @anukin — 에이전트 군집과 조정 계층을 만든다고 최전선 기술이 되는 건 아닙니다. 의미 있는 결과 대신 홍보용 글을 만들어내는 경우가 많습니다. Hugging Face나 호주 정부를 해킹하는 일에도 인간과 에이전트로 구성한 팀이면 충분하고, 에이전트 군집까지 필요하지 않습니다. 비용도 더 적게 듭니다.
• @socializer — 일반 대중이 최전선 수학을 푸는 능력에 관심이 있다고 보는 건 이상합니다. 대부분은 그런 능력을 평가할 수도, 관심을 둘 이유도 없습니다. 사람보다 덜 믿을 만하고 실수에 책임을 지게 할 수도 없어서, 사람이 곁에서 감독하지 않으면 대체하기 어렵습니다. 게다가 많은 사람에게 LLM은 특별히 필요한 도구가 아닙니다.
  • @HolyLampshade — 그 두 가지 문제 때문에 에이전트 사용을 거의 멈췄습니다. Google 검색 맨 위에 나오는 AI처럼 쉽게 없앨 수 없는 기능도 은근히 틀립니다. 장황한 답변에서 모순을 찾아내는 데 오히려 더 많은 수고가 듭니다.

원문: X / 번역·요약: Trawling