서울대 연구진, KVGuard로 vLLM·SGLang KV 캐시 오류 8건 찾아
서울대 연구진이 제시한 KVGuard는 vLLM·SGLang의 KV 캐시에서 요청별 블록 권한과 항목별 초기화 상태를 추적하는 검사기입니다. 논문은 과거 오류 29건을 재현하고 새 위반 8건을 찾았으며, Qwen 2.5 14B 평가에서 TPOT 오버헤드는 기하평균 기준 vLLM 3.0%, SGLang 7.4%라고 보고했습니다.
최신기사
AI, 개발 도구, 오픈소스, 보안과 인프라의 변화와 이용 조건을 설명하는 최신 기사와 해설입니다.