딥엑스, 5W 미만 DX-M2 테이프아웃…메모리 연산 결합 시 토큰 처리량 6.7배 시뮬레이션
DeepX가 5W 미만 전력으로 대형 언어 모델을 실행하려는 엣지 AI 가속기 DX-M2 설계를 테이프아웃했습니다. 삼성의 메모리 내 계산 기술을 결합하는 회사 시뮬레이션에서 Llama 3.1 8B의 초당 토큰 처리량은 DX-M2 단독보다 6.7배 높았지만, 전체 전력 소비는 2.7배로 늘어나는 조건입니다.
EE Times의 Sally Ward-Foxton 기자는 2026년 11월 9일 DeepX 창업자 겸 CEO Lokwon Kim과의 인터뷰를 보도하며, 회사가 2세대 엣지 AI 가속기 DX-M2 설계를 테이프아웃했다고 전했습니다. DeepX는 로봇과 드론 등에서 대형 언어 모델을 실행하는 용도로 DX-M2를 개발하고 있습니다.
테이프아웃은 칩 설계 데이터를 제조 단계로 넘긴 것을 뜻합니다. DeepX는 2026년 1월 CES에서 DX-M2 로드맵을 공개했으며, 샘플은 2027년 3월, 양산은 같은 해 가을을 목표로 제시했습니다.
회사가 제시한 목표는 5W 미만 전력으로 매개변수 200억~1000억 개 규모의 대형 언어 모델을 기기 안에서 실행하는 것입니다. 모델에 따라 초당 10~30개 토큰을 생성할 수 있다고 밝혔습니다. 혼합 전문가(MoE) 모델에서는 한 토큰을 계산할 때 실제로 쓰이는 활성 매개변수가 약 30억~200억 개라고 설명했습니다. 모델 전체 매개변수 수와 매번 계산에 참여하는 수가 다를 수 있다는 뜻입니다.
대형 언어 모델은 토큰을 생성할 때 모델의 가중치 같은 데이터를 메모리에서 연산부로 가져와 계산합니다. 행렬-벡터 곱처럼 메모리에서 필요한 값을 자주 읽는 연산은 데이터 이동이 계산 속도를 제한할 수 있다고 DeepX는 설명했습니다. DX-M2에서 김 CEO가 가장 중요한 변화로 꼽은 것도 메모리 대역폭입니다. DeepX에 따르면 대역폭은 1세대 DX-M1의 초당 50GB에서 DX-M2의 150GB로 세 배 늘었습니다.
삼성의 LPDDR5x-PIM은 메모리 안에서 일부 계산을 처리하는 기술입니다. 일반적인 구성처럼 데이터를 메모리에서 연산부로 계속 옮기는 대신, 행렬-벡터 곱 일부를 메모리 쪽에서 처리해 데이터 이동을 줄입니다. 삼성전자도 LPDDR-PIM을 메모리 내 계산으로 데이터 전송에 따른 병목과 전력 소모를 줄이는 기술로 설명합니다.
DeepX의 시뮬레이션에서는 행렬-벡터 곱 일부를 DX-M2에서 삼성 LPDDR5x-PIM으로 넘겼을 때 Llama 3.1 8B의 초당 토큰 처리량이 DX-M2 단독 구성보다 6.7배 높았습니다. 이 결과는 1000억 매개변수 모델의 측정치가 아니라 Llama 3.1 8B를 대상으로 한 회사의 시뮬레이션 값입니다.
처리량을 6.7배 높이는 구성은 전력 소비도 DX-M2 단독보다 전체적으로 2.7배 늘어나는 조건이라고 DeepX는 밝혔습니다. 회사는 DX-M2 단독 구성과 같은 전력 한도를 유지하면서 처리량을 2배 높이는 선택지도 가능하다고 봅니다.
DeepX는 삼성의 LPDDR5x-PIM 샘플을 받아 사내에서 동작과 성능을 시험하고 있습니다. DX-M2와 PIM을 결합해 물리 환경에서 시험할 하드웨어 모듈은 제작 중이며, PIM 모드를 지원하는 컴파일러도 시뮬레이션 기반 시제품 단계입니다. Kim은 이 실행 방식을 지원하려면 컴파일러에 상당한 수작업이 필요하다고 밝혔습니다.