Moonshot AI's Kimi K3.1 Pro reaches fourth on Artificial Analysis index, 3 points behind Claude Opus 5.5
Moonshot AI Kimi K3.1 Pro, Artificial Analysis 지수 4위…Claude Opus 5.5와 3점 차
Moonshot AI가 Kimi K3.1 Pro를 공개하고 11월 4일까지 오픈 웨이트를 배포하겠다고 밝혔습니다. Artificial Analysis Intelligence Index에서 55점을 받아 4위에 올랐으며, 사이버 공격 관련 학습 데이터를 덜어낸 뒤 자체 취약점 악용 시험 점수가 90.5%에서 81.0%로 낮아졌다고 설명했습니다.
- 주제
에디터 노트
성능 순위와 공개 전 안전 조치는 서로 다른 근거 수준으로 읽어야 합니다. Artificial Analysis 점수와 Terminal-Bench 결과는 비교 지표로 제시됐지만, 취약점 악용 시험과 환각 수치는 Moonshot 자체 평가입니다. 특히 90.5%에서 81.0%로 낮아졌다는 결과는 학습 데이터 제거가 측정값에 영향을 줬다는 근거이지, 공개 모델의 악용 위험을 어느 정도 줄였는지 보여주는 검증은 아닙니다. 댓글은 모델 성능보다 구독 한도와 실제 사용량에 초점을 둡니다. 한 사용자는 Kimi가 경쟁 서비스보다 강하다고 평가하면서도 코드 감사 작업 중 한도에 자주 걸린다고 했고, 다른 요금제의 넉넉한 제공량과 비교했습니다. 이 경험은 모델 가격 인하와 구독으로 확보하는 사용량이 별개임을 드러냅니다. 원문은 API 가격이 33% 낮아졌다고만 밝히며 토큰 단가와 요금제별 한도는 제시하지 않아, 댓글의 사용 경험을 전체 이용자나 API 비용으로 일반화할 근거는 없습니다.
AI 요약
Moonshot AI는 기존 Kimi K3를 대규모 후속 학습한 Kimi K3.1 Pro를 공개하고, 2026년 11월 4일까지 모델 전체 가중치를 공개할 계획이라고 밝혔습니다. 배포 전 사이버 공격 관련 학습 데이터를 제거했으며, 회사 내부 취약점 악용 시험 점수는 제거 전 버전의 90.5%에서 81.0%로 내려갔다고 합니다. Moonshot은 일반 코딩 능력을 유지하면서 공격형 사이버 능력의 최전선을 더 확장하지 않는 공개 모델을 목표로 삼았다고 설명했습니다.
성능과 순위
Artificial Analysis Intelligence Index에서 Kimi K3.1 Pro는 55점을 얻어 4위에 올랐습니다. Claude Opus 5.5는 58점, Claude Sonnet 5.5와 Muse Wonder Full은 각각 56점입니다. GPT-6 Astra와 Gemini 4 Argon은 각각 53점으로 기재됐습니다. Kimi K3의 44점보다 11점 높으며, 계획대로 가중치를 공개하면 현재 오픈 웨이트 모델 중 가장 높은 점수를 기록하게 된다는 것이 본문의 전망입니다. 현재 오픈 모델 가운데 Xiaomi MiMo-V2.6-Pro는 46점, DeepSeek V4.1 Flash는 45점, Kimi K3는 44점입니다. 오픈 모델과 상용 모델 사이 점수 차이는 현재 순위 기준으로 3점까지 줄어듭니다.
코딩 에이전트 평가 Terminal-Bench 4.0에서 K3.1 Pro는 65.7%를 기록했습니다. Claude Opus 5.5의 66.4%보다 낮고 GPT-6 Astra의 58.2%보다 높습니다. Terminal-Bench Science 0.1, DeepSWE v1.1, SWE-Marathon v1.1, PostTrainBench에서도 평가했다고 본문은 전합니다. 환각 스트레스 테스트에서는 잘못된 주장 비율이 Kimi K3의 23.4%에서 8.3%로 감소했다고 Moonshot이 밝혔습니다. Terminal-Bench와 환각 수치는 회사 자체 평가이며 독립적으로 검증되지 않았습니다.
학습과 모델 구성
K3.1 Pro는 Kimi K3를 바탕으로 후속 학습(post-training) 연산량을 크게 늘린 모델입니다. 수백 개의 후속 작업 분야에서 공동 강화학습을 진행하기 위해 Moonshot은 강화학습 프레임워크, 긴 문맥 추론, 학습 효율, 샌드박스 인프라, 롤아웃 일정 관리, 환경 품질 검사 플랫폼을 개선했다고 설명했습니다. 총 파라미터는 2조 8천억 개이며 실제 활성화되는 파라미터는 1,040억 개입니다. 활성화 비율은 약 1.8%입니다.
문맥 길이는 100만 토큰이며 텍스트와 이미지를 처리합니다. 네트워크 전체에 NoPE(No Positional Embeddings)를 적용해 전통적인 RoPE(Rotary Position Embeddings) 계층을 사용하지 않습니다. 양자화 인식 학습(quantization-aware training)을 적용해 가중치는 MXFP4, 활성값은 MXFP8 형식으로 운용합니다. 본문은 이런 구성과 후속 학습 인프라를 제시하지만, 각각의 변화가 벤치마크 향상에 얼마나 기여했는지는 따로 나누어 설명하지 않습니다.
제품 제공과 가격
기본 모델보다 2~3배 빠르며 기능은 같다고 설명하는 K3.1 Pro Highspeed도 함께 나왔습니다. 두 모델은 Kimi.ai와 iOS, Android, HarmonyOS 앱, Kimi Work 데스크톱 앱 3.1.0 이상, Kimi Code, API에서 제공됩니다. API 모델 식별자는 kimi-k3.1-pro와 kimi-k3.1-pro-highspeed입니다. API 고객은 Zero Data Retention을 선택할 수 있으며 Kimi Enterprise에서는 관리자가 조직에 기능을 켤 수 있습니다. 기업 계정은 출시 시 기본적으로 접근이 꺼져 있습니다. API 가격은 Kimi K3보다 33% 낮아졌다고 본문은 전합니다.
사이버 능력 제한과 공개 계획
Moonshot은 오픈 웨이트 배포 전에 사이버 공격 관련 데이터를 덜어낸 뒤 취약점 악용 시험 점수가 하락했다고 밝혔습니다. 해당 설명은 Reuters와 The Information 보도를 인용한 내용으로 소개됩니다. 본문은 중국에서 AI 기반 악성코드 생성 기술 수출 통제가 제안된 시점과 맞물린 조치라고 분석합니다. 다만 시험의 구체적인 구성이나 데이터 제거 기준, 외부 검증 결과는 제시하지 않습니다. 따라서 81.0%라는 수치만으로 실제 악용 능력의 범위나 일반 코딩 성능이 얼마나 보존됐는지를 판단하기는 어렵습니다.
Reddit 반응
- @ivej — 그래도 토큰을 아침 식사처럼 먹어 치우네요.
- @XxDarkSasuke69xX — Artificial Analysis를 보면 비슷한 지능 지수 모델보다 비용이 낮습니다.
- @CrimsonBolt33 — 아마 요금제 얘기일 겁니다. 저는 가장 비싼 요금제를 쓰는데도 한 시간 만에 5시간 한도에 걸리고 주간 한도의 절반을 넘겼습니다. 특별한 일을 한 것도 아니고 평소처럼 코드베이스를 감사하고 있습니다. 새 AI는 좋고 많은 문제를 찾아냈지만 구독 요금제는 정말 형편없습니다.
- @VectorWireAI — Max 요금제, 월 200달러짜리를 쓰시나요? Kimi와 중국 구독 요금제를 최상위 모델 요금제와 비교하면 어떤가요?
- @CrimsonBolt33 — 저는 중국에서 예전에 가입한 최상위 Allegro 요금제를 씁니다. 한 달에 699위안, 약 100달러입니다. 새 요금제가 나왔다고 하는데 로그아웃해야 볼 수 있나 봅니다. 살펴봐야겠네요. 수정: Allegro는 중국에서 늘 가장 좋은 요금제였고 Vivace는 중국에 없었습니다. 토큰 한도만 보면 Allegro는 현재 Ultra와 같습니다. Ultra는 가격이 두 배인데 주간 한도가 없다는 점만 다릅니다. 그래서 지금까지 나온 요금제 중 최고를 운 좋게 가입해 계속 쓰고 있지만 토큰 한도는 여전히 너무 낮습니다. MiMo, GLM, Kimi 중국 구독 요금제를 모두 최상위로 쓰는데 Kimi가 셋 중 가장 강합니다. 다만 구독 제공량이 대체로 적어서 Kimi는 여러 하위 에이전트의 결과를 조율하고 감사하는 용도로만 쓸 수 있습니다. MiMo는 시간별·주별·월별 한도 없이 수천억 토큰을 쓸 수 있는 큰 묶음을 줍니다. GLM은 주력으로 쓰며 요금제가 넉넉하고 zcode 앱에서는 사용량이 0.67배로 계산됩니다. 리셋도 많이 제공하고 무료 토큰 묶음도 줍니다. 세 서비스가 저렴해서 모두 쓰며 서로의 결과를 감사하게 합니다.
- @VectorWireAI — 연산 자원 제약 때문일 수 있습니다. API에서도 피크 시간대 요금, 처리량 제한, 서비스 중단이 비슷하게 나타납니다.
- @uusrikas — AI 일러스트는 웃기네요.
원문: VectorWire / 번역·요약: Trawling