Cerebras는 3조 파라미터 모델을 어떻게 배치하나
Cerebras는 3조 파라미터 모델 Kimi K3를 WSE-3T 웨이퍼 59장에 나눠 올리는 구성을 설명합니다. 4비트 가중치와 256k 요청 길이를 가정하고, 모델 층을 웨이퍼별 파이프라인으로 연결해 여러 요청을 동시에 처리하는 방식입니다.
AI 모델 · 최신기사
모델 공개와 성능, 가중치와 이용 조건을 다룹니다.
하이브리드 추론 에이전트: 잠재 공간에서 추론하고 텍스트로 행동하는 LLM 에이전트
Hybrid Reasoning Agents는 추론 과정에서 잠재 공간과 텍스트를 오가며, 텍스트 기반 도구 호출과 다중 턴 작업을 유지하는 에이전트 구조입니다. 논문은 11개 벤치마크에서 기존 에이전트보다 성능이 10.4% 높고 토큰을 35.5~54.7% 줄였으며 추론 속도와 비용도 개선했다고 보고합니다.
NVIDIA, 반복 연산형 4B 언어 모델 Dory 공개
NVIDIA의 Dory1.0-4B는 공유된 20개 레이어 블록을 반복 적용해 토큰당 연산량을 조절하는 4B 모델입니다. 반복 횟수에 따라 정확도와 추론 비용을 바꾸며, 벤치마크에서는 2회 반복이 여러 작업에서 1회보다 높은 점수를 냈습니다. 마지막 반복의 KV 캐시만 남기는 방식도 제공합니다.
NVIDIA Qwen3.8-Flash-Next FP4 로컬 모델
NVIDIA가 Alibaba Qwen3.8-Flash-Next를 FP4로 양자화한 로컬 배포용 체크포인트를 공개했습니다. 파일 크기는 약 96GiB이며, 검증된 실행 환경은 NVIDIA Blackwell GPU와 특정 커뮤니티 vLLM 컨테이너입니다. GPQA Diamond 정확도는 BF16 기준 92.2%에서 FP4 기준 91.5%로, ToolEvalBench는 89.4%에서 88.7%로 낮아졌습니다.
GEV-26B-Decide 공개 — 불확실할 때만 추론하는 Gemma 기반 의사결정 모델
AutoTrust AI가 Gemma-4-26B-A4B-it을 바탕으로 선택지별 확률을 출력하는 오픈 웨이트 모델 GEV-26B-Decide를 공개했습니다. 기본 모드(System 1)는 B200에서 약 45ms에 응답하고, 불확실한 질문에는 추론 모드(System 2)를 추가해 수학·과학·논리 벤치마크 정확도를 높입니다. 다만 추론은 수 초에서 수십 초가 걸리고 분류·검색 작업에는 이득이 적습니다.
OrcaSAQ2 27B: Qwen3.8을 12.3GB로 압축한 에이전트용 모델
OrcaRouter가 Qwen3.8-27B의 BF16 체크포인트를 평균 3.21비트로 양자화해 54GB에서 12.3GB로 줄인 모델을 공개했습니다. 자체 비교에서 perplexity 증가는 0.02%였으며, vLLM 추론과 에이전트 작업 성능 수치도 제시했지만 양자화 기법은 공개하지 않았습니다.
ThinkingCap Qwen3.8-27B 공개 — 추론 토큰 평균 37% 절감
BottleCap AI가 Qwen3.8-27B를 바탕으로 추론 토큰을 줄인 ThinkingCap 모델을 공개했습니다. 자체 평가에서 평균 추론 토큰은 37.2% 감소했고 정확도는 86.6%에서 85.8%로 낮아졌습니다. vLLM·SGLang 배포와 MTP 자기 추측 디코딩도 지원합니다.
Mercury 2.5, 초당 770토큰 생성
Inception의 Mercury 2.5는 출력 속도 780.8토큰/초를 기록했지만, Artificial Analysis Intelligence Index 점수는 12로 비슷한 가격대 추론 모델의 중앙값과 같습니다. Hacker News에서는 빠른 응답이 유용한 작업이 있다는 의견과, 품질이 낮으면 속도와 가격의 이점도 제한적이라는 지적이 맞섰습니다.