2026년 AI 추론 하드웨어 혁명 — 학습의 시대가 끝나고 추론의 시대가 왔다

본문

2020년 이후 AI는 더 큰 모델을 학습하는 데 집중해 왔고, 그 결과 GPT-3의 43.9%였던 벤치마크 정답률은 GPT-4o에서 88.7%까지 올라 인간 전문가 수준에 도달했습니다. 하지만 2026년 현재 화두는 추론, 즉 학습된 모델을 실제로 굴려 코드를 만들고 글을 쓰는 작업으로 이동했습니다. Moor Insights & Strategy의 Matt Kimball은 "CIO들이 이야기하고 싶어하는 것은 전부 추론"이라고 말하며, Nvidia의 Jensen Huang은 GTC 2026에서 이를 "추론의 변곡점"이라고 불렀습니다. 추론 수요가 폭발한 이유는 LLM이 실용화됐기 때문만이 아닙니다. 요즘 모델은 chain of thought 방식으로 스스로 여러 번 재프롬프트하는 reasoning model이고, 높은 reasoning effort는 최대 20배의 텍스트를 생성합니다. 여기에 agentic AI가 24시간 자율적으로 추론을 돌리면서 부하가 더 커졌습니다.

학습과 추론은 왜 다른 하드웨어를 요구하는가

기사는 학습을 '스크래블 타일 추리 게임'에 비유합니다. 다음 토큰을 숨기고 맞히게 한 뒤, backpropagation으로 수십억~수조 개 파라미터를 반복 수정하는 초고강도 병렬 연산입니다. 반면 추론은 autoregressive합니다. 다음 토큰이 이전 토큰에 의존하므로 토큰 하나를 만들 때마다 모델 전체 가중치와 이전 컨텍스트를 메모리에서 다시 읽어야 합니다. 추론은 prefill과 decode 두 단계로 나뉩니다. prefill은 프롬프트 전체를 한꺼번에 attention 처리하는 구간으로 병렬화가 쉬워 GPU에 잘 맞고, 이때 생성된 key/value 벡터는 수십 GB까지 불어날 수 있는 KV cache에 저장됩니다. 문제는 decode입니다. 토큰을 하나씩 순차 생성하면서 매번 전체 모델과 KV cache를 읽어야 하므로 메모리 대역폭이 병목이 되고, 연산 유닛이 놀게 됩니다. 실제로 Nvidia H100에서 오픈소스 LLM을 돌리면 연산 유닛의 50~80%가 유휴 상태라는 연구 결과가 소개됩니다.

메모리 병목을 공략하는 스타트업들

Meta 실리콘 엔지니어링 출신인 Majestic Labs의 Sha Rabii는 "GPU 접근법은 연산을 과잉 프로비저닝하고 메모리를 굶긴다"고 지적합니다. d-Matrix는 2세대 가속기 Raptor에서 DRAM 다이 위에 연산 다이를 직접 적층해 데이터 이동 거리를 "밀리미터에서 마이크로미터로" 줄입니다. 반대로 Majestic Labs는 독자 구리 링크와 memory-aggregator 칩으로 신호를 최대 약 1미터까지 보내, GPU 주변 '해안선'에 붙어야 하는 HBM(2~3mm 한계)의 공간 제약을 벗어나 랙당 최대 128TB의 범용 DRAM을 연결합니다. 참고로 Nvidia GB300 NVL72 랙의 HBM3E는 약 20TB입니다. 두 회사 모두 HBM 대신 값싼 DRAM을 쓰는데, HBM은 DRAM보다 2~3배 비쌉니다. 삼성·SK하이닉스 등 HBM 진영도 가만히 있지는 않아, 2026년 하반기 출하 예정인 Nvidia Vera Rubin에 들어갈 HBM4는 최대 대역폭을 두 배로 늘립니다.

Nvidia와 AWS의 '투칩' 전략

빅 플레이어들은 prefill과 decode를 서로 다른 칩에 나누는 시스템 접근을 택했습니다. Nvidia는 2025년 말 Groq의 IP와 인력을 200억 달러 규모의 논란 많은 딜로 확보한 뒤, 석 달 만에 Groq 3 LPU를 공개했습니다. LPU는 연산력은 낮지만 다이 위에 500MB의 SRAM을 얹어 GPU 대비 7배의 메모리 대역폭을 내며, 256개를 Groq 3 LPX 랙에 채웁니다. Vera Rubin GPU가 attention과 컨텍스트 처리(prefill)를, LPU가 행렬곱 중심의 decode를 맡습니다. AWS는 Trainium(prefill)과 Cerebras의 Wafer-Scale Engine 3(decode)을 짝지었습니다. WSE-3은 웨이퍼 하나를 통째로 칩으로 써서 4조 개 이상의 트랜지스터와 44GB의 SRAM을 담고, 한 칩에 400억~800억 파라미터를 올립니다. OpenAI는 이 칩으로 GPT-5.3-Codex-Spark를 초당 1,000토큰 이상으로 구동했는데, 일반 GPT-5.4 배포의 50~125토큰과 비교됩니다. 여러 WSE-3를 묶으면 Moonshot AI의 Kimi 2.6 같은 1조 파라미터 모델도 서빙할 수 있습니다.

비트를 줄이는 소프트웨어-하드웨어 공동 최적화

양자화(quantization)도 추론 최적화의 핵심입니다. Tensordyne의 Gilles Backhus는 "8비트 모델 하나보다 4비트 두 배 크기 모델이 낫다는 결론에 업계가 도달하고 있다"고 말합니다. Nvidia는 4비트 포맷 NVFP4를 만들었고, AMD·Intel·Qualcomm은 경쟁 포맷 MXFP4에 결집했습니다. DeepSeek-R1을 FP8에서 NVFP4로 양자화했을 때 7개 벤치마크 점수 하락이 1% 미만인 반면 성능은 3배 향상됐다고 Nvidia는 밝혔습니다. 더 급진적인 접근도 있습니다. Tensordyne의 Napier는 로그 연산의 성질(log A·B = log A + log B)을 이용해 곱셈 대신 덧셈 회로를 쓰는 로그 수 체계로, 사용자당 초당 1,300토큰을 Nvidia 대비 10분의 1 이하 전력으로 낸다고 주장합니다. Etched의 Sohu는 transformer 아키텍처를 실리콘에 직접 배선해 Llama 70B를 초당 50만 토큰으로 돌리지만, transformer에서 벗어난 모델은 실행할 수 없습니다.

승자독식이 아니라 CPU의 길을 따른다

전문가들은 어느 접근이 이길지가 아니라 전부 필요하다고 봅니다. AI 수요가 포화되지 않은 데다 에이전트는 "퇴근하지 않고 24시간 일하기" 때문입니다. 트랜지스터 스케일링이 둔화된 뒤 CPU가 다축 혁신으로 발전했듯, 추론 하드웨어도 메모리 적층·장거리 인터페이스·웨이퍼 스케일·4비트 연산 등 여러 방향에서 동시에 진화할 것이라는 전망입니다. 한편 Anthropic이 경쟁사인 SpaceXAI에 유휴 컴퓨팅 임대료로 월 10억 달러 이상을 지불한다는 대목도 업계 판도 변화를 보여줍니다.

Hacker News 반응

• @_superposition_ — 훌륭한 기사. 앞으로 벤치마크 성능 향상의 대부분은 더 빠른 반복·재귀를 가능하게 하는 이 스택 쪽에서 나올 것이라고 봅니다.
• @geoffbp — Anthropic이 SpaceXAI에 월 10억 달러 이상을 지불한다는 사실은 알았지만 금액 규모는 몰랐습니다. 놀랍습니다.
• @cma — 대규모 부족 사태 속에서 보상 없이 Nvidia 물량 대기열에서 Tesla의 자리를 꿰차고 얻은 큰돈입니다.
• @ninju — 좋은 글입니다. 스크래블 비유로 LLM 학습을 설명한 것은 좋았는데, 비유가 추론까지 이어지지 않아 따라가기 어려웠습니다.
• @mathisfun123 — 비유에 허점이 있습니다. 스크래블은 희귀한 조합에 보상을 주고, causal attention은 이미 놓인 이전 토큰만 보므로 다릅니다.

원문: IEEE Spectrum / 번역·요약: Trawling