Intelligence per Watt: 로컬 AI의 지능 효율을 측정하다

본문

대규모 언어 모델(LLM) 질의는 현재 대부분 중앙 집중형 클라우드 인프라의 프론티어 모델에서 처리되고 있으며, 수요 증가 속도가 공급자의 확장 속도를 앞지르고 있습니다. 이 논문은 두 가지 변화에 주목합니다. 활성 파라미터 20B 이하의 소형 로컬 모델이 많은 작업에서 프론티어 모델과 견줄 만한 성능에 도달했다는 점, 그리고 Apple M4 Max 같은 로컬 가속기가 이 모델들을 인터랙티브한 지연 시간으로 구동할 수 있게 됐다는 점입니다. 이를 바탕으로 '로컬 추론이 중앙 인프라의 수요를 실질적으로 재분배할 수 있는가'라는 질문을 던집니다.

IPW 지표와 실험 설계

이 질문에 답하려면 로컬 모델이 실제 질의에 정확히 답할 수 있는지와, 노트북처럼 전력이 제한된 기기에서 효율적으로 동작하는지를 함께 측정해야 합니다. 저자들은 작업 정확도를 단위 전력으로 나눈 'intelligence per watt(IPW)'를 모델-가속기 조합 전반의 능력과 효율을 아우르는 통합 지표로 제안합니다. 평가에는 20개 이상의 최신 로컬 모델, 로컬과 클라우드를 아우르는 8종의 하드웨어 가속기, 그리고 100만 건의 실제 단일 턴 채팅·추론 질의가 사용됐습니다. 각 질의에 대해 정확도(프론티어 모델 대비 로컬 모델의 승률), 에너지, 지연 시간, 전력을 측정했습니다.

세 가지 핵심 결과

첫째, 로컬 모델은 전체 질의의 88.7%에 성공적으로 답했으며, 정확도는 도메인별로 차이가 있었습니다. 둘째, 2023년부터 2025년까지의 종단 분석에서 IPW가 5.3배 개선됐고, 이는 알고리즘 발전과 가속기 발전이 모두 기여한 결과였습니다. 같은 기간 로컬에서 처리 가능한 질의 커버리지는 23.2%에서 71.3%로 상승했습니다. 셋째, 동일한 모델을 실행할 때 로컬 가속기의 IPW가 클라우드 가속기 대비 최소 1.4배 낮게 측정돼, 로컬 가속기 측에 상당한 최적화 여지가 남아 있음을 보였습니다. 저자들은 이 결과가 상당한 비중의 질의에 대해 로컬 추론이 중앙 인프라의 수요를 의미 있게 재분배할 수 있음을 보여주며, IPW가 이 전환을 추적하는 핵심 지표가 될 수 있다고 결론 내립니다.

Hacker News 반응

• @iLoveOncall — '전력당 지능'은 엉터리 지표라고 비판합니다. 모델 성능이 좋다고 해서 반드시 더 많은 에너지나 연산이 필요한 것은 아니기 때문입니다.
• @utopiah — 이를 반박하며, 논문의 취지는 특정 모델을 옹호하는 것이 아니라 여러 아키텍처에서 이 값을 추정해 더 효율적인 구성을 찾자는 것이라고 설명합니다. 오픈 모델을 사용해 불확실한 변수를 제거했다고 덧붙입니다.
• @the8472 — 많은 경우 'joule당 지능'이 더 적절하다고 지적합니다. 같은 일을 하되 10배 오래 걸리는 모델이 메모리 제약 때문에 유용할 수 있어도, 같은 와트로 10배의 에너지를 소비하며 특히 모바일 기기에서는 문제가 커진다는 것입니다.
• @frumiousirc — 논문이 IPW와 함께 'IPJ'도 정의해 측정했다고 확인하며, NVIDIA B200이 Qwen 3와 GPT-OSS 계열에서 Apple M4 Max 대비 joule당 지능이 1.6~2.3배 높다는 수치를 인용합니다. 즉 '클라우드'가 전력뿐 아니라 에너지 효율에서도 '로컬'보다 앞서며, 뒤집어 말하면 로컬은 더 느리고 더 비싸다고 정리합니다.
• @_diyar — 비판 댓글을 흉내 내며 '시간당 마일(MPH)은 엉터리 지표다. 시간을 더 쓴다고 더 멀리 가는 건 아니지 않으냐'라고 비꼬며, 지표 자체를 부정하는 논리의 허점을 지적합니다.

원문: Hacker News / 번역·요약: Trawling