입력하는 동안 로컬 LLM이 미리 읽고 생각하게 했습니다: 6GB GPU에서 대기 시간 12초 → 3초
MAFDET는 사용자가 입력하는 동안 LLM의 KV 캐시를 갱신하고, Qwen3의 추론도 미리 진행하는 오픈소스 앱입니다. RTX 2060에서 Qwen3-4B의 답변 대기 시간은 12.2초에서 3.2초로 줄었지만, 미리 한 추론은 최종 입력이 바뀌면 정확성을 보장하지 않습니다.
AI 모델 · 최신기사
모델 공개와 성능, 가중치와 이용 조건을 다룹니다.
GLM-5.3-Flash를 Jev식 의사결정 모델로 만들기
Privatemode는 GLM-5.3-Flash가 옵션별 확률을 한 번의 추론으로 출력하도록 프롬프트와 vLLM의 logprob 기능을 구성했습니다. 공개 데이터셋 28개에서 Jev와 비슷한 정확도를 보였고 독일에서 응답 속도도 더 빨랐지만, 결정 비용은 더 높고 미국에서는 Jev가 더 빨랐습니다.
Agnes-3.0-Flash Preview — 하이브리드 어텐션 구조의 33B 오픈웨이트 멀티모달 모델 공개
Agnes AI가 33B 파라미터의 오픈웨이트 멀티모달 모델 Agnes-3.0-Flash Preview를 Apache 2.0 라이선스로 공개했습니다. 4개 레이어 중 3개가 gated delta rule을 사용하는 하이브리드 어텐션 구조로 262K 토큰 컨텍스트를 지원하며, H200 1장 수준의 단일 GPU로 구동 가능하다는 점이 특징입니다.