하드웨어 · 최신기사

딥엑스, 5W 미만 DX-M2 테이프아웃…메모리 연산 결합 시 토큰 처리량 6.7배 시뮬레이션

DeepX가 5W 미만 전력으로 대형 언어 모델을 실행하려는 엣지 AI 가속기 DX-M2 설계를 테이프아웃했습니다. 삼성의 메모리 내 계산 기술을 결합하는 회사 시뮬레이션에서 Llama 3.1 8B의 초당 토큰 처리량은 DX-M2 단독보다 6.7배 높았지만, 전체 전력 소비는 2.7배로 늘어나는 조건입니다.