DeepSeek-V4.1-Flash 공개 — KV 캐시를 토큰당 890바이트까지 줄인 552B 멀티모달 MoE 모델

본문

DeepSeek이 Hugging Face를 통해 DeepSeek-V4.1-Flash를 공개했습니다. 이미지와 텍스트를 네이티브로 처리하고 텍스트를 autoregressive하게 생성하는 멀티모달 MoE 모델로, 백본 파라미터 552B, 최대 1M 토큰 컨텍스트를 지원합니다. 이번 릴리스의 핵심 주제는 논문 제목 그대로 'KV 캐시 압축의 한계를 밀어붙이는 것'으로, 토큰당 전역 KV 캐시를 890바이트까지 줄여 DeepSeek-V4-Flash 대비 약 4배, DeepSeek-V1 대비 약 437배의 감축을 달성했습니다.

CED 아키텍처와 SWA Bounded Replay

모델은 Causal Encoder-Decoder(CED) 구조를 채택했습니다. 40층 Transformer가 20층의 causal encoder와 20층의 decoder로 구성되며, decoder의 전역 KV 캐시가 각 decoder 층의 hidden state가 아니라 encoder의 마지막 hidden state에서 projection됩니다. 이 덕분에 prefill 시 토큰당 8B, decode 시 16B 파라미터만 활성화되어 입력이 많은 agentic 워크로드의 비용 효율이 크게 개선됩니다. SWA Bounded Replay는 가장 최근 n_win개 토큰만 replay해 누락된 SWA KV 상태를 재구성함으로써 SWA KV를 SSD에 보관할 필요를 없앴고, 영구 KV 캐시 풋프린트를 DeepSeek-V4-Flash의 약 1/8로 줄였습니다.

CSA2와 FP4 KV 캐싱

Compressed Sparse Attention 2(CSA2)는 각 attention 층에 Full, Reindex, Reuse 중 하나의 정적 모드를 부여해 main KV와 indexer K를 층 간 공유하고 Top-K sparse attention 인덱스를 재사용합니다. decoder 내부의 Hierarchical Sparse Indexer는 첫 Full 모드 층이 만든 후보 풀 안에서만 이후 indexing 층이 동작하도록 제한해, 깊은 층의 indexer 비용이 컨텍스트 길이와 무관하게 상한을 갖습니다. 여기에 E2M1 포맷의 FP4 main KV 캐싱(16채널당 E4M3 스케일 1개)이 결합되어 토큰당 890바이트라는 수치가 나옵니다.

그 외 구성 요소로는 residual stream mixing을 효율화한 Single-Pass mHC와 Mega-mHC 커널, 토큰 기반 lookup으로 희소하게 접근되는 196B 파라미터의 Engram conditional memory, semi-autoregressive draft 생성과 confidence-scheduled verification을 쓰는 DSpark speculative decoding이 있습니다. 각 MoE 층은 공유 expert 1개와 routed expert 384개로 구성되며 토큰당 6개의 routed expert를 활성화합니다.

멀티모달과 학습 파이프라인

비전 측면은 2D-RoPE와 3×3 pixel-unshuffle 다운샘플링으로 처음부터 학습된 DeepSeek-ViT 인코더와 2층 MLP projector가 이미지를 visual embedding으로 변환해, 언어 모델 pre-training 초기부터 텍스트 임베딩과 함께 처리됩니다. pre-training은 45T 토큰의 멀티모달 코퍼스로 처음부터 진행됐고, sparse attention은 64K 길이에서 학습한 뒤 34T 토큰 시점에 컨텍스트를 1M으로 확장했습니다. post-training은 SFT → RL → on-policy distillation(OPD)의 표준 레시피를 그대로 따르며, 변화는 데이터 파이프라인에 집중됐습니다. agent task와 환경의 대규모 자동 합성, 그리고 데이터·태스크·rollout의 점진적 스케일링입니다. 추론 비용과 정확도를 교환하는 reasoning effort는 1~100의 정수로 연속 조절 가능합니다.

벤치마크 결과

base 모델 비교에서 V4.1-Flash는 552B 백본에 활성화 파라미터 8B/16B로, 1.6T의 V4-Pro-Base와 MMLU-Pro 74.1 대 73.5, HumanEval 79.4 대 76.8, GSM8K 93.0 대 92.6처럼 대등하거나 높은 결과를 보였습니다. instruct 평가(reasoning_effort=100, temperature=1.0, top_p=0.95)에서는 agentic 영역이 두드러집니다. Terminal-Bench 2.1에서 90.6으로 Opus-5.0(89.1), GPT-5.6(88.8)을 앞섰고, Terminal-Bench 3.0(30.0)과 4.0(31.2)에서도 V4-Pro의 11.8/12.4를 크게 상회했습니다. DeepSWE v1.1 74.2, AutomationBench 54.8, Agent's Last Exam 31.8, CyberGym 88.1을 기록했고 Codeforces rating은 3471입니다. 다만 HLE는 36.8로 Opus-5.0의 56.3에 못 미치고, ZeroBench-main은 49.0으로 GPT-5.6의 53.0보다 낮았습니다. scaffold별 비교도 제공되는데 DeepSWE v1.1에서는 mini-SWE harness(74.2)가 Claude Code(69.8)보다 높았고, Terminal-Bench 2.1에서는 DSH Minimal(90.6)이 mini-SWE(90.3)와 비슷했습니다.

실사용 안내와 라이선스

이 릴리스에는 Jinja 형식의 chat template이 없습니다. 대신 encoding 폴더에 multi-turn 대화, tool calling, thinking mode, reasoning effort, 대화 중간 system message, 이미지 삽입을 다루는 테스트 케이스를 포함한 Python 레퍼런스 구현(encoding.py)이 들어 있습니다. 프로덕션용으로는 Rust 라이브러리 + Python 바인딩인 deepseek-recipe이 함께 공개돼 Messages, Chat Completions, Responses API 요청을 DeepSeek V4/V4.1 프롬프트로 인코딩하고 모델 출력을 파싱해주며, 추론과 tool 실행, HTTP 전송은 호출자 몫입니다. 권장 샘플링 파라미터는 temperature 1.0, top_p 0.95 또는 1.0, 컨텍스트 윈도우 1M 토큰, max_tokens 256K 이상이고, evaluation 폴더에는 DeepSWE v1.1 재현 절차가 담겨 있습니다. 모델 가중치와 저장소는 MIT 라이선스로, 지난달 다운로드 수는 366,459회를 기록했습니다.

원문: Hugging Face / 번역·요약: Trawling