Intel plans a 480GB GPU, a video card with more memory than the average laptop SSD has storage
인텔, LPDDR5X 메모리 480GB를 탑재한 AI 가속기 공개
인텔이 AI 추론용 GPU D-series를 공개했습니다. LPDDR5X 메모리 480GB와 FP8 연산 성능 1.3페타플롭스, 메모리 대역폭 1.5TB/s를 제시했으며, 가격과 일반 출시일은 아직 공개하지 않았습니다.
- 주제
에디터 노트
480GB라는 용량은 한 장의 GPU에 큰 모델을 올리는 데 유리하지만, 그 자체로 추론 속도를 보장하지는 않습니다. 기사에 공개된 1.5TB/s와 FP8 1.3페타플롭스는 제품의 처리 성능을 함께 판단할 기준이며, Reddit에서는 B300의 8TB/s와 7페타플롭스에 견줘 속도 격차를 지적했습니다. 반면 댓글 일부는 모델을 수용하는 용량과 비용을 우선하는 작업에서는 낮은 속도도 쓸모가 있다고 봅니다. 가격이 공개되지 않아 비용 효율에 관한 댓글의 예상은 확인된 사실이 아닙니다. 기사에서 B300을 메모리 용량 기준으로 비교했지만, 댓글은 AMD MI455X의 432GB 메모리도 거론하며 최고 용량이라는 표현에 이의를 제기했습니다. 따라서 현재 자료가 뒷받침하는 판단은 대용량 추론을 겨냥한 사양과 배치 조건까지입니다. 실제 경쟁력은 판매 가격과 소프트웨어 지원, 특정 작업에서의 처리 속도가 공개돼야 가늠할 수 있습니다.
AI 요약
인텔은 Open Compute Project Global Summit에서 데이터센터용 GPU D-series를 공개했습니다. 코드명 Crescent Island으로 알려졌던 제품으로, 최대 480GB의 LPDDR5X 메모리를 탑재합니다. TechRadar는 메모리 용량이 엔비디아 Blackwell Ultra B300의 288GB HBM3e를 넘어섰다고 설명합니다. 인텔은 대규모 AI 추론을 겨냥해 메모리 용량과 전력 효율을 우선했으며, 일반 그래픽카드에 쓰이는 GDDR7 대신 LPDDR5X를 선택했습니다.
메모리 용량과 추론 성능
인텔은 D-series 한 장에서 최대 3,000억 개 파라미터를 가진 대형 언어 모델을 지원한다고 밝혔습니다. GPU 8장을 구성하면 1조 개가 넘는 파라미터의 모델을 수용한다고 설명했습니다. 긴 프롬프트와 동시 추론 요청, 기업용 AI 서비스, 로봇처럼 응답성이 필요한 작업이 사용 사례입니다.
메모리 용량은 모델 가중치와 추론 데이터를 한 장의 가속기에 담는 데 도움이 됩니다. 하지만 용량만으로 요청 처리 속도를 알 수는 없습니다. 성능은 메모리 대역폭과 연산 자원, 소프트웨어, 작업 특성에도 좌우됩니다. 인텔이 공개한 수치는 FP8 연산 성능 1.3페타플롭스와 메모리 대역폭 1.5TB/s입니다. FP8은 고정밀 형식보다 메모리 요구량을 줄이면서 AI 연산을 가속하는 데 쓰입니다.
데이터센터 배치 조건
제품의 전력 한도는 350W이며, 표준 PCIe 폼팩터와 공랭을 지원합니다. 인텔은 기존 GPU 플랫폼과 소프트웨어 호환성을 제공하고, Xeon 프로세서와 함께 구성하는 방안도 제시했습니다. CPU가 작업을 조율하고 데이터 이동을 관리하며 GPU가 맡지 않는 작업을 처리하는 구상입니다. 가격과 구체적인 일반 출시일은 공개하지 않았습니다.
Reddit 반응
- @u/astrobarn — 메모리를 활용하려면 어느 정도 연산 성능이 필요한 지점이 있나요? 그렇지 않다면 성능이 낮은 작은 다이에 메모리만 많이 붙이지 않는 이유는 무엇인가요?
- @u/iMrParker — 네, 분명히 있습니다. LLM 실행의 프리필 단계는 행렬 곱셈 연산 중심이고, 실제 답변을 생성하는 디코드 단계는 메모리 대역폭에 좌우됩니다. 최적 지점이 어디인지는 잘 모르겠지만 현재는 사용 방식에 따라 달라집니다.
- @u/goldcakes — 맞지만, 진지한 LLM 추론에서는 연산을 분리하는 방식이 대세입니다. 프리필을 담당하는 연산용 장비에서 KV 상태를 메모리 대역폭이 높은 추론 장비로 옮깁니다. 그래서 연산 성능이 낮더라도 메모리와 대역폭이 큰 카드가 쓰일 수 있습니다.
- @u/SirActionhaHAA — B300은 HBM3e 대역폭이 8TB/s이고 FP8 성능이 7페타플롭스입니다. 이 제품은 LPDDR5X에 1.5TB/s, 1.3페타플롭스인데 B300과 비교하는 건 클릭을 노린 표현 같습니다. 모델을 담을 수는 있어도 추론 성능은 좋지 않을 수 있습니다.
- @u/Wrong-Quail-8303 — 나쁜 제품은 없고 나쁜 가격만 있다는 말을 들은 적이 있습니다. 느린 추론이나 학습을 감수하는 대용량 메모리 시장은 분명히 있을 수 있습니다. 이 제품의 성패는 판매 가격에 달렸습니다.
- @u/AreYouAWiiizard — AMD MI455X는 HBM4 432GB를 탑재하지 않나요? 이미 공식 출시를 시작했다면 이 제품을 최고 용량이라고 부르는 게 맞나요?
- @u/jedijackattack1 — GPU에 LPDDR5를 쓰기로 한 선택은 대담합니다. AI 작업은 메모리 대역폭을 많이 요구합니다.
- @u/RepulsiveRaisin7 — 대역폭은 1.5TB/s입니다. LPDDR은 HBM보다 훨씬 저렴하니 괜찮은 선택으로 보입니다. H200만큼 빠르지는 않겠지만 MoE 모델에서는 비용 효율이 좋을 수 있습니다.
- @u/PorchettaM — 인텔이 이 제품을 일반 판매한다면 로컬 LLM 사용자들이 좋아할 제품이 되겠지만, 그런 계획은 없어 보입니다.
- @u/Zarmazarma — 로컬 LLM 사용자 중 GPU에 현실적으로 1만 달러를 쓸 사람이 많지는 않을 것 같습니다. 카드에 들어가는 LPDDR5X만 해도 현물 가격이 7,000달러가 넘습니다.
원문: TechRadar Pro / 번역·요약: Trawling