Reddit

China's open-weight AI models are now just 4 months behind frontier US offerings, Mozilla report claims — models still lag in some benchmarks but are drastically cheaper to use

중국 오픈 웨이트 AI 모델, 미국 프런티어와 격차 4개월까지 좁혀져 — Mozilla 보고서

Mozilla의 'State of Open Source AI' 1.1 보고서에 따르면 중국산 오픈 웨이트 모델이 벤치마크 기준 미국 프런티어 모델과 약 4개월 격차까지 추격했으며, 가격은 30~60% 수준입니다. 다만 단일 GPU·서버에서 실행 가능한 모델의 성능 격차는 더 크고, 최상위 오픈 모델은 대부분의 사용자가 직접 돌리기 어렵다는 지적이 따릅니다.

본문

Mozilla가 9월 15일 'State of Open Source AI' 보고서 1.1판을 공개했습니다. 9월 1일 기준 데이터를 사용한 이 보고서에 따르면 중국산 오픈 웨이트(open-weight) 모델들이 미국 프런티어 모델과의 격차를 빠르게 좁히고 있습니다. Artificial Analysis Intelligence Index에서 최상위 오픈 모델은 클로즈드 1위 모델에 3점 뒤졌지만 가격은 60% 수준이고, Claude Fable 5와는 2점 차이에 가격은 30%에 불과합니다. Mozilla가 METR의 태스크 호라이즌 데이터에 피팅한 추정치는 오픈-클로즈드 격차를 약 4.4개월로 보고 있으며, 이는 Epoch AI의 4개월 추정과 일치합니다.

보고서의 구성과 측정 방식

Firefox를 만드는 비영리 조직 Mozilla의 이 보고서는 7월 14일 처음 발행된 정기 평가로, Mozilla/SlashData의 개발자 약 1,400명 설문과 OpenRouter 트래픽 데이터, 서드파티 벤치마크 지수를 결합해 만들어집니다. CTO Raffi Krikorian은 TIME 인터뷰에서 보고서가 부분적으로 '옹호(advocacy)' 성격을 띤다고 밝혔습니다. 여기서 '오픈 웨이트'는 학습 데이터나 코드가 아닌 다운로드 가능한 가중치를 의미하며, 보고서가 꼽은 16개 주요 오픈 릴리스 중 Open Source Initiative 정의가 요구하는 데이터 레시피를 공개한 것은 없습니다. METR은 모델이 절반의 확률로 완수하는 작업의 인간 작업 시간 길이로 역량을 채점하는 비영리 연구기관입니다. Mozilla의 피팅 결과 클로즈드 모델은 인간 전문가 기준 8~12시간짜리 작업을 처리하며, 오픈 모델은 약 4개월 뒤 같은 수준에 도달합니다. 오픈 모델의 역량은 3.9개월마다 두 배가 되어 클로즈드의 5.5개월보다 빠른 성장 곡선을 그립니다.

벤치마크와 사용량 지표

모든 모델에 동일한 하네스를 적용하는 vals.ai의 Terminal-Bench 2.1에서 Z.ai의 GLM-5.2는 Claude Opus 4.7과 1점 차이, Opus 4.8보다 약 4점 뒤진 성적을 테스트당 비용 5분의 1 이하로 기록했습니다. 수백 개 모델로 트래픽을 라우팅하는 마켓플레이스 OpenRouter에서는 8월 토큰 볼륨 기준 상위 10개 중 8개가 오픈 웨이트였고 그중 7개가 중국산이었습니다. 다만 Linux Foundation 집계로 2025년 5~9월 모델 레이어 매출의 96%는 클로즈드 제공자가 가져갔고, Krikorian은 Ars Technica에 보낸 이메일에서 "클로즈드에 비용을 지불하는 결정은 조직 단위가 아니라 워크로드 단위로 이뤄진다"고 말했습니다.

오픈이지만 돌리기 어려운 모델들

4개월 격차와 30% 가격 수치는 호스티드 엔드포인트의 API 대 API, 정가 기준 측정이라는 한계가 있습니다. 보고서의 하드웨어 차트에서 단일 서버에 들어가는 최고 오픈 모델은 52.6점, 단일 GPU에는 40점으로 정점 대비 각각 10점, 23점 하락해 보고된 4개월 격차보다 큰 차이를 보입니다. Kimi K3의 네이티브 MXFP4 체크포인트는 96개 샤드에 걸쳐 약 1.56TB이고 Mozilla의 서빙 구성은 가속기 64개 이상을 요구하며, vLLM 기준으로도 GB300 GPU 최소 8개와 프로덕션 트래픽용 다중 노드가 필요합니다. 보고서는 이를 "오픈이지만 대부분의 보유자가 실행할 수 없다"고 표현했고, Tom's Hardware는 7월 기준 메모리 요구량을 1.5TB 가까이로 봤습니다. 예외로 Apache 2.0 라이선스인 Thinking Machines의 Inkling-Small은 NVFP4 버전이 180GB 하한으로 B300 한 장에 들어갑니다.

데이터 시점과 증류 논란

보고서 데이터는 9월 1일에서 멈춥니다. 이후 Artificial Analysis는 평가 세트가 다른 v4.3으로 바뀌어 라이브 보드에서 Claude Fable 5.1이 최고 effort 설정 기준 53점, Kimi K3가 44점으로, Mozilla가 그린 v4.1.1 수치와 비교할 수 없게 됐습니다. 9월 11일 갱신된 Terminal-Bench 2.1은 GPT-6 Astra가 87.27%로 선두, Fable 5.1이 85.02%입니다. 보고서 차트 캡션 그대로 "격차는 릴리스 주기마다 리셋됩니다." 한편 K3에는 9월 8일 NSA/CISA/FBI 공동 권고문(AA26-251A)에 담긴 혐의가 있습니다. Moonshot이 Claude Fable 5의 데이터를 추출해 증류(distillation, 한 모델의 출력으로 다른 모델을 학습하는 기법) 방식으로 K3를 학습했다는 주장으로, 보고서는 "주장됐으나 입증되지 않았다"고 기술합니다. 참고로 7월 17일 Artificial Analysis에서 K3는 Fable 5의 60점에 57점이었고, 9월 1일 Mozilla 기준으로는 2점 뒤였습니다.

Reddit 반응

  • @fgk55555 — 저에게 4개월 전이 "충분히 쓸 만한" 지점이었습니다. 성능 향상은 고맙지만 이미 사용 가능한 수준이었어요. 저는 가격 바닥 경쟁과 에이전틱 작업을 위한 추가 파인튜닝, 음성과 코드의 '취향'을 개선하는 RL 정도만 더해져도 만족할 것 같습니다.
  • @Disastrous_Food_2428 — 중국에 대한 GPU 판매 제한이 없었다면, 중국은 분명 4개월 앞서 있었을 겁니다.
  • @Salah_H_Hasan — GPT Astra 모델과 우리를 가르는 차이가 4개월이 안 된다는 뜻이고, 이는 놀라운 발전이자 진보입니다.
  • @Dry_Yam_4597 — 그들이 앞서 있습니다. Claude는 로컬에서 돌릴 수도 없고 보안 용도로 쓸 수도 없으니까요.
  • @jferments — 바로 이것이 Sam Altman과 Dario Amodei가 "규제 없는 AI"는 안전하지 않다는 논리를 로비하는 이유입니다. 중국 오픈소스 모델을 금지하려는 거죠. 오픈 모델은 더 싸고, 검열이 적고, 더 유용하며 이를 깨닫는 사람이 매일 늘고 있습니다. 빅테크 기업들은 자신들이 장악한 부패한 규제 기관을 통해, 대규모 오픈소스 모델의 존재가 인류에 대한 위협이라고 대중에게 말하면서 경쟁의 위협을 불법화해 끊어버릴 겁니다.

원문: Tom's Hardware / 번역·요약: Trawling