Agnes-3.0-Flash Preview — 하이브리드 어텐션 구조의 33B 오픈웨이트 멀티모달 모델 공개

본문

Agnes AI가 플래그십급 추론 성능을 플래그십급 하드웨어 없이 사용할 수 있도록 설계했다고 소개하는 오픈웨이트 멀티모달 모델 Agnes-3.0-Flash Preview를 Hugging Face에 공개했습니다. 33B 파라미터에 262,144 토큰 컨텍스트 윈도우를 갖추고 있으며, 텍스트·이미지·비디오 이해, tool calling, 그리고 high·medium·low 세 단계로 조절 가능한 reasoning effort를 지원합니다.

Preview와 프로덕션 모델의 구분

모델 카드가 강조하는 첫 번째 사항은 이 저장소의 체크포인트가 Artificial Analysis에 등재된 프로덕션/API 모델과 다르다는 점입니다. 프로덕션 버전은 별도의 체크포인트와 설정을 사용하며 1M 토큰 컨텍스트를 지원하는데, 이 저장소는 원래 'Preview' 접미사 없이 Agnes-3.0-Flash로 공개되었다가 혼동을 막기 위해 모델 카드가 수정되었습니다. 즉, API 모델의 벤치마크 결과를 이 오픈웨이트 Preview 가중치에 귀속시키면 안 됩니다.

아키텍처: delta rule과 global attention의 3:1 하이브리드

구조적으로 흥미로운 지점은 어텐션 설계입니다. 총 72개의 디코더 레이어 중 54개가 gated delta rule을 사용하는 recurrent 레이어이고, 18개만이 표준 global attention을 수행합니다. delta rule 레이어는 시퀀스 길이와 무관한 per-layer state를 유지하므로, 컨텍스트에 따라 커지는 KV cache는 18개 레이어에만 존재합니다. 이는 긴 컨텍스트에서 KV cache 메모리를 크게 절약하는 설계로, linear attention 계열 구조를 상용급 모델에 적용한 사례로 볼 수 있습니다. 세부 사양으로는 hidden size 5120, global attention은 24 query heads / 4 KV heads의 6:1 GQA에 head dim 256, delta rule 레이어는 16 key heads / 48 value heads에 head dim 128이며 recurrent state는 fp32로 유지됩니다. FFN은 intermediate size 17408의 SwiGLU에 매 레이어 2048 크기의 병렬 SwiGLU 브랜치가 추가된 형태이고, 위치 인코딩은 텍스트·높이·너비 3축 rotary를 사용합니다. 비전 타워는 27 레이어, hidden 1152, patch 16 구성입니다.

벤치마크와 해석상 주의점

공개된 비교표에서 Agnes-3.0-Flash Preview는 IFBench 74.20, SciCode 38.08, GPQA Diamond 85.05, AA-LCR 68.33, AA-Omniscience 23.00을 기록했습니다. 대부분의 항목에서 Qwen3.6-35B-A3B나 Kimi K2.5보다 높지만, MiniMax M3나 Gemini 3.5 Flash 같은 대형 모델에는 뒤처지는 결과입니다. 다만 모델 카드 자체가 각 수치가 서로 다른 소스·하니스·스냅샷에서 수집되었으므로 통제된 일대일 비교가 아니라고 명시하고 있어, 참고값으로 해석하는 것이 적절합니다.

배포와 실행

bf16 체크포인트는 약 66GB로, NVIDIA H200 141GB 또는 H100 80GB 1장으로 구동 가능하며 최대 컨텍스트와 동시성을 위해서는 --tp 2 텐서 병렬을 권장합니다. transformers 5.12 이상에서 trust_remote_code=True로 로드하거나, sglang 기반 OpenAI 호환 API 서버로 서빙할 수 있습니다. tool call은 <tool_call><function=…><parameter=…> 형식의 텍스트로 출력되며, 구조화된 tool_calls를 원하면 sglang에 해당 형식의 파서를 설정해야 합니다. 권장 생성 설정은 temperature 1.0, top_p 0.95, top_k 20입니다.

지난달 다운로드 수는 1,223건으로 아직 초기 단계지만, linear attention 하이브리드 구조의 실사용 가능한 공개 체크포인트라는 점에서 아키텍처 연구자와 self-hosting을 고려하는 팀 모두에게 살펴볼 가치가 있는 릴리스입니다.

원문: Hugging Face / 번역·요약: Trawling