meta-models/Muse-Spark-Open-816B-A42B-NVFP4
Meta Muse Spark Open 공개 가중치 모델: 816B 파라미터와 1M 토큰 컨텍스트
Meta가 전체 816B, 활성 42B 파라미터의 멀티모달 공개 가중치 모델 Muse Spark Open을 공개했습니다. 컨텍스트 길이는 1M 토큰이며 NVFP4 가중치 추론에는 VRAM 700GB 이상이 필요합니다. 라이선스는 파생 모델 표시 의무와 일정 규모 이상 API 사업자의 별도 계약 조건을 둡니다.
- 주제
에디터 노트
이 공개 가중치 모델은 사용 허가와 배포 조건을 함께 살펴야 합니다. NVFP4도 VRAM 700GB 이상을 요구하고, 파생물 표시 의무와 일정 규모를 넘는 API 사업자의 별도 계약 조건도 붙습니다. 따라서 가중치 공개가 곧 자유로운 상업 배포를 뜻하지는 않습니다. 안전성 수치는 Meta가 정한 벤치마크와 평가 조건에서 나온 결과이며 문서도 후속 변경과 배포 환경에 따라 결과가 달라질 수 있다고 밝힙니다. 특히 이 모델을 도구와 연결하는 에이전트 제품에는 추가 안전장치를 권고합니다. 모델 카드가 제시한 성능과 안전성 수치는 Meta의 자체 평가 결과로 읽는 것이 정확합니다.
AI 요약
Meta Superintelligence Labs가 Muse Spark Open의 모델 가중치를 Hugging Face에 공개했습니다. 문서에 적힌 출시일은 2026년 10월 15일입니다. 모델은 전체 파라미터 816B 가운데 토큰마다 42B를 활성화하는 Mixture-of-Experts 구조이며, 추론 시 컨텍스트 길이는 1M 토큰입니다. 입력은 텍스트, 이미지, 비디오, 오디오를 지원하고 출력은 텍스트입니다. 100개가 넘는 언어의 데이터를 학습에 사용했다고 설명합니다.
구조와 사용 목적
언어 모델은 62개 레이어와 8192차원 히든 차원을 사용합니다. 256개 전문가 중 토큰마다 8개를 선택하며, 어텐션은 Q 헤드 128개와 KV 헤드 16개의 grouped-query attention 구조입니다. 별도의 Perception Encoder는 1.8B 파라미터, 50개 레이어, 1536차원 히든 차원으로 구성됩니다.
Meta는 장기 추론, 여러 단계로 이어지는 에이전트 작업, 코딩 에이전트, 도구 호출, 이미지와 음성 및 영상 이해, 합성 데이터 생성, 다른 모델 출력 평가를 주요 용도로 제시합니다. 추론 강도는 low, medium, high, xhigh로 설정하며 기본값은 xhigh입니다. 복잡한 문제 해결과 코딩, 에이전트 작업에는 high 또는 xhigh를 권하고, 빠르고 짧은 응답에는 low 또는 medium을 권합니다. 일반적인 샘플링 설정으로 temperature와 top_p는 1.0, top_k는 비활성화를 제시합니다.
배포와 라이선스
가중치는 BF16과 NVFP4 버전으로 제공됩니다. 문서는 NVFP4 추론에 VRAM 700GB 이상, BF16에 2TB가 필요하다고 안내합니다. SGLang, vLLM, Hugging Face, TensorRT-LLM, Unsloth, llama.cpp를 지원 프레임워크로 들며, M5 Ultra 탑재 Mac Studio 두 대에서 MLX로 실행하도록 최적화했다고 설명합니다. 제삼자 추론 제공업체 API도 이용 경로로 안내합니다.
Muse Model License는 사용, 복사, 수정, 파인튜닝, 파생물 제작, 배포와 판매를 허용합니다. 다만 소프트웨어와 파생물에 라이선스와 사용 정책을 포함해야 하며, 제품이나 서비스의 UI 또는 문서 등에 "Built with Muse Spark Open"을 표시해야 합니다. 파생물 정의에는 모델의 출력이나 결과를 활용해 만든 AI 모델도 포함됩니다. 사용자와 계열사의 합산 매출이 연속 12개월 동안 2,000만 달러를 넘고, API 등으로 모델 출력을 제공하는 Model as a Service 사업에 이 모델이나 파생물을 넣으려면 Meta에 통지하고 별도 계약을 체결해야 합니다. 자체 제품 기능에 모델을 쓰는 경우 등은 해당 조항의 예외로 적었습니다.
안전성 평가와 한계
Meta는 콘텐츠 안전성, 에이전트 위험, 개인정보, 화학·생물학 및 사이버 보안과 통제 상실 위험을 평가했다고 밝혔습니다. 사이버 보안 평가에서 내부 벤치마크 jailbreak의 99.2%를 거부했고, PolyGuard의 사이버 하위 항목과 RedCode, CyberBench 2024를 합산한 평가에서는 94.8%를 거부했다고 제시합니다. 같은 평가 설정에서 Kimi K3의 거부율은 각각 75.5%와 70.2%였다고 비교합니다. SecureBio BioTIER의 유해 생물학 요청은 98% 넘게 거부했으며, 내부 단일 턴 화학 평가에서는 99% 넘게 거부했다고 설명합니다. 내부 다중 턴 에이전트 평가의 거부율은 생물학 97% 초과, 화학 98%였습니다. MASK 평가의 정직성 비율은 98.1%, Agentic Misalignment 평가의 오작동 비율은 0%라고 적었습니다.
이 수치는 공개된 체크포인트를 정해진 조건에서 평가한 결과이며 모든 배포 환경을 포괄하지 않는다고 문서는 명시합니다. 파인튜닝 등 후속 변경은 안전성을 낮출 수 있습니다. Meta는 용도에 맞춘 추가 안전장치와 에이전트의 되돌릴 수 없는 행동에 대한 사람의 확인을 권고합니다. 모델은 여러 단계 추론에서 오류를 낼 수 있고, 저해상도나 짧은 영상도 제대로 처리하지 못할 수 있습니다. 학습 데이터에는 공개 자료와 인터넷 수집 자료, 제삼자 및 Meta 제품·서비스에서 얻은 자료, 합성 자료가 포함됩니다.
원문: Hugging Face / 번역·요약: Trawling