Muse Wonder — 개인·업무용 에이전트에 집중한 Meta의 새 모델

AI 요약

Meta가 Muse Wonder와 Muse Wonder Full을 공개했습니다. 두 모델은 개인·업무용 에이전트 작업을 겨냥하며, 법률·금융·건강 분야의 지식 활용과 장기 코딩 작업을 강조합니다. Muse Wonder는 Meta Model API와 Muse Code에서 사용할 수 있고, Wonder Full은 Muse Code 구독자에게 제공됩니다. Meta는 Wonder를 향후 Muse 서비스에 적용하고, 산출물 생성과 더 높은 지능이 필요한 작업에도 활용할 계획이라고 밝혔습니다.

학습 규모와 성능 평가

Meta는 14개월 전 AI 개발 스택을 처음부터 다시 정비하기 시작했다고 설명합니다. 이번 모델은 사전학습(pretraining)과 강화학습(reinforcement learning)을 확대하는 기존 접근을 잇고, 오하이오주의 기가와트 규모 Prometheus 데이터센터에서 학습했습니다. 공개 글은 두 모델이 개인·업무용 에이전트, 메모리, 코딩 관련 여러 벤치마크에서 최첨단 성능을 기록했다고 주장하지만, 본문 추출 자료에는 개별 벤치마크의 점수 표가 포함되지 않았습니다.

Meta가 내세운 평가 분야는 네 가지입니다. 법률·금융·건강 분야의 전문 지식을 살펴보고, Harvey의 Legal Agent Benchmark(LAB)에서는 출처 문서를 참고해 세부 지침에 맞는 법률 결과물을 작성하는 능력을 평가합니다. Active Memory는 여러 대화에 걸쳐 사용자에게 중요한 맥락을 기억하고, 현재 작업에 필요한 정보를 찾아내는 기능을 뜻합니다. Active Focus는 어려운 목표를 수행하면서 다른 접근을 시도하고, 막힌 지점을 해결하며, 새 정보에 맞춰 계획을 바꾸는 능력입니다. Meta는 FocusBench와 장기 소프트웨어 프로젝트를 다루는 SWE-Marathon을 평가에 사용한다고 밝혔습니다.

코딩 작업은 요구사항을 기억하고 코드베이스 여러 곳을 수정한 뒤, 테스트와 수정을 반복해야 하므로 앞선 기능을 함께 시험하는 영역으로 제시됩니다. Meta는 작은 애플리케이션부터 복잡한 소프트웨어까지, 장기간 이어지는 다양한 작업으로 두 모델을 학습했다고 설명합니다.

낯선 작업으로 이어지는 성능

Meta는 특정 벤치마크에 맞춘 학습, 이른바 benchmaxxing이 실제 역량을 얼마나 반영하는지 별도로 살폈습니다. Muse Spark 1.3과 Muse Wonder Full을 비교하며 추론에 쓰는 테스트 시간 연산량(test-time compute)을 늘렸을 때, 미세조정 과정에서 다룬 과제와 다루지 않은 과제의 성능 변화를 그렸습니다. 두 모델 모두 연산량을 늘리면 미세조정 대상 밖 과제에서도 비슷한 방향으로 성능이 향상됐다고 합니다. 다만 Wonder Full은 대상 과제 점수만으로 예측한 수준보다 낯선 과제에서 더 높은 성능을 보였습니다. Meta는 더 큰 기반 모델이 미세조정의 효과를 새로운 과제까지 잘 전달하기 때문이라고 설명합니다. 개인용 에이전트는 학습 때 예상하지 못한 목표·도구·제약 조합을 다뤄야 한다는 점도 덧붙였습니다.

에이전트 안전과 개인정보

사용자 대신 행동하는 에이전트는 메시지, 일정, 사적인 문서에 접근할 수 있습니다. Meta는 Muse Wonder 계열을 적대적 지시에 더 잘 견디고 사적 정보를 신중하게 처리하도록 학습했다고 밝혔습니다. 화학·생물·방사능·핵(CBRN) 및 사이버 악용을 막는 보호 장치도 지금까지 가장 강력하다고 설명합니다. 방어 목적의 사이버 기능은 유지하며, Meta Superintelligence Scaling Framework를 기준으로 삼았다고 합니다. 안전성 평가를 더 담은 보고서는 추후 공개할 예정입니다.

출시 범위와 커뮤니티 반응

Hacker News에서는 발표된 벤치마크 순위와 실제 사용 경험이 일치하는지가 주요 쟁점이었습니다. 일부는 모델이 경쟁력 있는 성능을 보였다며 환영했지만, 다른 이용자들은 Wonder와 Wonder Full의 제공 범위가 다르고, 공개된 점수를 실제 API에서 쓸 수 있는 모델의 성능으로 받아들이기 어렵다고 지적했습니다. 가격과 사용량 제한, 오픈 웨이트 공개 여부도 논의됐습니다. 에이전트가 사적인 정보에 접근하는 만큼 Meta의 개인정보 처리에 대한 우려도 나왔습니다.

• @217 — Zuck, 제가 당신의 실력을 몰라봤습니다. 그들 기준으로 AA에서 2위이고 Opus 5.5에만 졌다면 정말 나쁘지 않습니다.
  • @Cookingboy — 사람들이 Zuck이 Scale을 수십억 달러에 인수하고, 스무 살대 Alex Wang에게 Meta Superintelligence를 맡기며 튜링상 수상자인 Yann LeCun을 내보냈다고 비웃었습니다. 업계 관계자들도 회의적이었고, 월가도 Meta의 자본 지출을 싫어했습니다. 이제 Muse 소비자 제품과 새 모델을 보면 Zuck이 다시 한 번 실행력을 증명할 가능성이 있어 보입니다. 완전히 새롭고 검증되지 않은 시장에서 혁신하는 상황도 아니니까요.
• @clueless — 여기서 벤치마크 점수 올리기에 얼마나 공을 들였을까요? Poly와 Kalshi에 베팅해 볼까요.
  • @phoghed — 아마 모든 회사가 할 수 있는 만큼 벤치마크 점수 올리기를 할 겁니다. 사람들이 그 숫자에 관심을 두는데 직접 모든 모델을 써볼 수 없다면, 그렇게 하지 않는 편이 어리석습니다.
  • @samseaborn — 연결된 글에 벤치마크 점수 올리기를 측정하는 섹션이 통째로 있습니다. 그 자체로 뭔가를 말해주는 것 같습니다.
• @freakynit — Muse Spark 1.3을 꾸준히 써왔습니다. xhigh 모드의 Spark 1.3은 Sol 6 medium과 high 사이 정도입니다. 이미 충분히 좋아서 제 작업의 90%가 Codex에서 이쪽으로 옮겨갔습니다. Muse Wonder Full이 Opus 5.5에 가까운 건 예상할 만합니다.
• @droidjj — 가격은 입력 토큰 100만 개당 4달러, 캐시 입력은 0.20달러, 출력은 20달러입니다. 자세히 보니 주요 발표 페이지의 Muse Wonder 벤치마크 점수는 실제로는 Muse Wonder Full 점수입니다. Full은 상위 구독 요금제에서만 쓸 수 있고, 이 가격은 Wonder 기준입니다.
• @user43928 — 벤치마크에서 Opus 5.5 다음으로 높은 Muse Wonder Full은 현재 구독자만 쓸 수 있는 것 같습니다. API에는 Muse Wonder만 제공됩니다.
• @jjcm — Muse Wonder로 이미지에서 HTML을 만드는 테스트를 해봤습니다. Opus 5.5보다 훨씬 못했고, 제 생각에는 Sonnet이나 Haiku에 가깝습니다. 벤치마크 숫자를 보고 기대가 컸습니다. 현재 시각 모델은 아직 성숙하지 않았고 텍스트에 많이 최적화된 것 같습니다.
  • @niek_pas — Wonder인가요, Wonder Full인가요? Wonder Full이 Opus 5.5에 가깝다고 들었습니다.
  • @jjcm — Wonder입니다. Wonder Full은 아직 OpenRouter에서 쓸 수 없었습니다.
• @nerevarthelame — Meta가 기술에 익숙하지 않은 사람들에게 개인 일을 맡기는 에이전트를 권하는 상황에서, 개인정보를 잘못 처리하는 비율이 내부 지표상 약 3%라면 용납하기 어려운 수준입니다.
• @PcChip — 모델 가중치를 공개할 계획이 있는지 아시나요?
  • @johanyc — 가능성은 낮습니다.
• @sergiotapia — Meta가 Muse 앱에 어떻게 경쟁할지 궁금합니다. 지금도 꽤 매력적이고, 이 새 모델이 들어가면 더 좋아질 것 같습니다.
  • @TGower — OpenAI에는 Dots가 있습니다. 저는 AI 비서가 구매를 완료할 때마다 수수료를 떼는 방식보다 구독료로 비용을 내는 사업 모델을 선호합니다. 사용자가 고객일 때 이해관계가 더 잘 맞습니다. 다만 웹의 역사를 보면 Meta 방식이 이길 것 같습니다.
• @er4hn — 약 2주 전 주말 여행을 계획하며 Meta Muse가 주요 결정을 맡게 해봤습니다. Muse Spark 1.3을 쓴 것 같습니다. SEA에서 University District까지는 우버보다 경전철이 빠르고 저렴하다고 알려준 점은 좋았습니다. 하지만 영업을 중단한 식당을 추천하고, 연어가 철이 아닐 때 볼 수 있다고 했으며, 비행기가 다음 날이 아니라 당일 곧 출발한다고 알려줘 직접 정정해야 했습니다. 검증이 쉬운 코딩 작업에서는 모델이 많은 일을 하지만, 간단한 계획도 제대로 처리하지 못하는 모델을 개인 비서로 쓰려는 Meta의 목표는 이해하기 어렵습니다.
  • @nimchimpsky — 하지만 그건 지금 모델보다 훨씬 작고 성능이 낮은 다른 모델이었습니다.
• @schaefer — 벤치마크 결과를 막대그래프로 보여주고, 토큰 사용량이나 달러 비용을 두 번째 축으로 함께 표시했으면 합니다. 성능도 좋지만 제가 보고 싶은 건 달러당 성능입니다.

원문: Meta / 번역·요약: Trawling

Hacker News 반응

• @atleastoptimal — Meta에 개인적으로 여러 불만이 있지만, 최전선에 가까운 회사가 많을수록 좋다고 생각합니다. 자기 개선이 반복되는 단계에 도달했을 때 한 회사만 모든 결정을 내리면 권력이 극도로 집중되고 그 회사의 가치관이 업계 전체에 강요될 수 있습니다. 최전선에 3~4개 회사가 있으면 재앙적인 경쟁을 피하려고 협력할 여지도 커집니다.
  • @tekacs — 지금 상황은 몇 주나 몇 달마다 앞서가는 회사가 바뀌는 ‘한 회사가 앞서 달리는’ 상태인 것 같습니다. 불안정하긴 해도 일반 대중에게는 꽤 쓸모 있는 균형일 수 있습니다.
• @pmuse — Meta 계정으로 Muse Code에 로그인하려다 제 계정과 관계없는 다른 사람들의 프로필이 로그인 인증 화면에 표시됐습니다. 계정 설정에서 비활성화도 못 했고, 요청하지 않은 로그인 코드도 계속 왔습니다. 조심하는 편이 좋겠습니다.
  • @pmuse — 추가 확인 결과 Safari 확장 프로그램 Wipr 2와 관련된 것 같습니다. Wipr Extra를 끄니 현상이 사라졌습니다. Meta에 사과드립니다.
  • @demibabs — 콘텐츠 차단기가 이런 문제를 일으킬 수 있다는 게 이해되지 않습니다. 더 잘 아는 분이 설명해 주실 수 있나요?
• @hugh4life — 지난달부터 Muse Code를 구독하고 있습니다. 이 발표를 보니 낮은 요금제의 혜택이 사라질까 걱정됩니다. 15달러 요금제에서 Muse Spark 1.3 Max-contributor를 쓸 때는 가치가 매우 좋았는데, Muse Wonder Max-contributor로 프롬프트 두 개를 보내니 주간 할당량의 4%를 썼습니다. 50달러 요금제로 올릴까 했지만 지금은 오히려 망설여집니다.
• @dom96 — Muse Wonder Full을 평가해보고 싶지만, Muse Wonder는 Muse Spark 1.3보다 크게 낫지 않았습니다. LLM을 혼란스럽게 하려고 새 프로그래밍 언어를 만들고 벤치마크도 만들었습니다. 여러 작업은 5달러 예산을 넘겨 실패했으니 더 많은 비용을 썼다면 완료했을 수도 있습니다. 그래도 제 벤치마크에서는 MiMo V2.6 Pro보다 낫지 않아 실망스럽습니다.
• @ekojs — React 프런트엔드 UI 다듬기, 복잡한 Node 백엔드 변경 검토, Rust 서버의 작은 수정 등 실제 개발 작업을 시켜봤습니다. 첫인상은 Astra·Opus 5.5·Fable보다 한 단계 아래입니다. 지능은 있지만 판단력과 감각이 아직 부족합니다. 리뷰 의견에 고정돼 수정과 재검토를 반복하는 루프에 빠졌습니다.
• @simonw — Muse Wonder로 만든 펠리컨 그림은 꽤 괜찮습니다. 8월의 Muse Spark 1.2와 비교해봤고, 9월의 Muse Spark 1.3 결과도 함께 확인했습니다. 1.3은 펠리컨을 움직이게 만드는 걸 좋아하는 것 같습니다.

원문: Meta / 번역·요약: Trawling