lightseekorg/tokenspeed — TokenSpeed is a speed-of-light LLM inference engine.
TokenSpeed: 에이전트 워크로드를 위한 LLM 추론 엔진
TokenSpeed은 에이전트 워크로드를 겨냥한 오픈소스 LLM 추론 엔진입니다. C++ 스케줄러와 Python 실행 계층을 분리하고 커널을 모듈화해, 자원 관리의 안전성과 빠른 개발을 함께 추구합니다.
- 주제
에디터 노트
제어 계층에서 자원 상태를 컴파일 시점에 검사하고 실행 계층은 Python으로 빠르게 바꾼다는 설계가 TokenSpeed의 가장 구체적인 차별점입니다. 커널을 공개 API와 플러그인으로 분리한 구성도 여러 가속기를 지원하려는 목표와 맞닿아 있습니다. 성능 수치는 프로젝트가 제시한 결과이며, 제공된 설명에는 측정 조건이나 비교 기준이 없습니다. 따라서 초당 토큰 수만으로 TensorRT-LLM과의 우열을 판단하기는 어렵습니다. 아키텍처 설명은 구체적이지만, 성능 주장을 검토하려면 연결된 벤치마크 자료의 조건을 확인해야 합니다.
AI 요약
TokenSpeed은 에이전트 워크로드에서 TensorRT-LLM급 성능과 vLLM급 사용성을 목표로 하는 오픈소스 LLM 추론 엔진입니다. LightSeek Foundation은 요청 처리의 제어 계층과 실행 계층을 분리하고, KV 캐시 자원 관리와 커널 선택을 별도 구성요소로 다룹니다.
제어 계층과 실행 계층
스케줄러는 C++ 제어 계층과 Python 실행 계층으로 나뉩니다. 요청 수명 주기, KV 캐시 소유권, 실행 중첩 타이밍을 유한 상태 기계(FSM)로 표현합니다. 타입 시스템을 활용해 KV 자원의 안전한 재사용을 컴파일 시점에 검사하도록 설계했습니다. Python 실행 계층은 연구자와 엔지니어가 실행 로직을 빠르게 바꾸도록 구성했습니다. 진입점은 SMG와 통합한 AsyncLLM으로, CPU에서 요청을 처리하는 비용을 낮추는 데 초점을 둡니다.
커널 구성과 성능 주장
커널은 엔진에 포함된 고정 구현이 아니라, 공개 API와 중앙 레지스트리를 갖춘 모듈형 하위 시스템입니다. 플러그인 방식으로 서로 다른 가속기를 지원하며, 프로젝트는 Blackwell에서 에이전트 워크로드용 MLA 구현 중 하나가 가장 빠르다고 설명합니다. 저장소는 Qwen3.5-397B-A17B에서 초당 580토큰을 처리했다는 기록과, NVIDIA GB300에서 Qwen3.8-Flash-Next를 사용자당 초당 685토큰으로 서비스했다는 기록을 소개합니다. AMD Instinct MI355X 최적화와 TensorRT-LLM 비교 자료도 링크합니다.
생태계와 지원
TokenSpeed은 PyTorch Ecosystem에 합류했으며, 저장소는 비영리 단체 LightSeek Foundation이 프로젝트를 지원한다고 설명합니다. NVIDIA와 AMD를 비롯한 하드웨어 및 엔지니어링 파트너의 지원도 언급합니다.
원문: GitHub / 번역·요약: Trawling