서울대 연구진, KVGuard로 vLLM·SGLang KV 캐시 오류 8건 찾아
서울대 연구진이 제시한 KVGuard는 vLLM·SGLang의 KV 캐시에서 요청별 블록 권한과 항목별 초기화 상태를 추적하는 검사기입니다. 논문은 과거 오류 29건을 재현하고 새 위반 8건을 찾았으며, Qwen 2.5 14B 평가에서 TPOT 오버헤드는 기하평균 기준 vLLM 3.0%, SGLang 7.4%라고 보고했습니다.
최신기사
AI, 개발 도구, 오픈소스, 보안과 인프라의 변화와 이용 조건을 설명하는 최신 기사와 해설입니다.
입력하는 동안 로컬 LLM이 미리 읽고 생각하게 했습니다: 6GB GPU에서 대기 시간 12초 → 3초
MAFDET는 사용자가 입력하는 동안 LLM의 KV 캐시를 갱신하고, Qwen3의 추론도 미리 진행하는 오픈소스 앱입니다. RTX 2060에서 Qwen3-4B의 답변 대기 시간은 12.2초에서 3.2초로 줄었지만, 미리 한 추론은 최종 입력이 바뀌면 정확성을 보장하지 않습니다.
NVIDIA DGX Spark 64GB 출시 — 4,999달러에 메모리는 절반
NVIDIA가 DGX Spark 64GB 구성을 제조사 파트너를 통해 4,999달러부터 판매한다고 발표했습니다. 같은 사양 두 대를 연결하면 메모리 128GB로 최대 2000억 매개변수 모델을 다룰 수 있으며, NVIDIA는 Qwen 3.8 27B 테스트에서 단일 시스템보다 최대 1.7배 빠르다고 밝혔습니다.
GLM-5.3-Flash를 Jev식 의사결정 모델로 만들기
Privatemode는 GLM-5.3-Flash가 옵션별 확률을 한 번의 추론으로 출력하도록 프롬프트와 vLLM의 logprob 기능을 구성했습니다. 공개 데이터셋 28개에서 Jev와 비슷한 정확도를 보였고 독일에서 응답 속도도 더 빨랐지만, 결정 비용은 더 높고 미국에서는 Jev가 더 빨랐습니다.
LLM 4,768회 실행에서 단 한 번의 스윕도 잃지 않기 — 타임아웃·멈춤·비용을 견디는 필드 테스트 러너 만들기
CauterRule v0.3.0은 40개 코퍼스와 2개 모델을 대상으로 4,768개 trajectory-run을 완료한 필드 테스트 보고서입니다. per-trajectory timeout, 비재시도 타임아웃, 토큰 상한, 격리, 종료 시 취소라는 다섯 가지 방어 장치로 멈춘 요청 하나가 전체 평가를 막지 않게 했으며, 호출별 토큰 사용량도 비용으로 환산했습니다.
Agnes-3.0-Flash Preview — 하이브리드 어텐션 구조의 33B 오픈웨이트 멀티모달 모델 공개
Agnes AI가 33B 파라미터의 오픈웨이트 멀티모달 모델 Agnes-3.0-Flash Preview를 Apache 2.0 라이선스로 공개했습니다. 4개 레이어 중 3개가 gated delta rule을 사용하는 하이브리드 어텐션 구조로 262K 토큰 컨텍스트를 지원하며, H200 1장 수준의 단일 GPU로 구동 가능하다는 점이 특징입니다.