DeepGEMM: GPU용 간결·고성능 BLAS 커널 라이브러리
DeepGEMM은 NVIDIA GPU에서 대규모 언어 모델의 행렬 연산과 MoE 연산을 처리하는 CUDA 커널 라이브러리입니다. FP8·FP4·BF16 GEMM부터 통신과 연산을 겹치는 Mega MoE까지 제공하며, 설치 단계의 CUDA 컴파일 없이 런타임 JIT로 커널을 빌드합니다.
오픈소스 · 최신기사
직접 활용할 공개 저장소와 프로젝트를 소개합니다.
직접 활용할 공개 저장소와 프로젝트를 소개합니다.
DeepGEMM은 NVIDIA GPU에서 대규모 언어 모델의 행렬 연산과 MoE 연산을 처리하는 CUDA 커널 라이브러리입니다. FP8·FP4·BF16 GEMM부터 통신과 연산을 겹치는 Mega MoE까지 제공하며, 설치 단계의 CUDA 컴파일 없이 런타임 JIT로 커널을 빌드합니다.