PUBG 개발사가 처음부터 학습한 Qwen 경쟁 모델을 공개했습니다

크래프톤 AI가 28.8B 파라미터 중 토큰마다 4.3B를 활성화하는 MoE 언어 모델 Raon-1 mini preview를 공개했습니다. 한국어 대화와 일부 추론·검색 벤치마크에서 강점을 보였으며, 긴 컨텍스트와 여러 로컬 실행 형식을 지원합니다. 다만 공개된 성능표에서 코딩 에이전트와 장문 처리 결과는 모델별로 엇갈립니다.

주제: AI 오픈소스 한국어

에디터 노트

Raon-1 mini의 공개 성능은 특정 항목에서 강하지만, 벤치마크 표만으로 Qwen의 대체재라고 단정하기는 어렵습니다. IFBench와 한국어 내부 평가에서 앞선 반면 Terminal-Bench Lite와 BFCL에서는 뒤처졌고, 한국어 점수는 외부에서 재현할 수 없는 내부 평가입니다. 표의 점수는 크래프톤이 제시한 조건에서 얻은 결과이며 실제 코딩 에이전트 작업을 그대로 대표하지 않습니다. Reddit에서는 MoE의 벤치마크 점수가 긴 문맥의 실제 코딩 성능과 맞지 않을 수 있다는 반론이 나왔고, 한 사용자는 GLSL 작업에서 원하는 결과를 얻지 못했다고 전했습니다. 이는 제한된 사용 사례의 경험담으로 일반 성능을 판정할 근거는 아니지만, 성능표가 포착하지 못하는 작업별 편차를 보여줍니다. 반대로 llama.cpp용 GGUF, MLX, NVFP4와 DFlash2를 함께 내놓은 점은 로컬 실행을 시도할 경로를 넓힙니다. 다만 프리뷰 상태이고 일부 실행 경로는 전용 브랜치나 베타 서버에 의존하므로, 모델 경쟁력과 생태계 지원은 별도로 확인할 사안입니다.

AI 요약

크래프톤 AI가 Raon 오픈 모델 제품군의 첫 프리뷰인 Raon-1 mini를 공개했습니다. 28.8B 파라미터 가운데 라우팅 전문가 6개와 공유 전문가 1개를 토큰마다 활성화해 실제 활성 파라미터는 4.3B입니다. Apache 2.0 라이선스로 가중치를 배포하며, 저장소 접근은 요청 후 자동 승인됩니다. 이번 공개판은 최종 모델이 아니어서 사양과 성능이 바뀔 수 있다고 밝혔습니다.

모델 구조와 기능

25개 레이어 중 18개는 고정 크기 상태를 쓰는 Raon Delta Attention(RDA), 7개는 Gated MLA로 구성됩니다. RDA는 Kimi Delta Attention의 삭제·쓰기 게이트를 분리해 긴 문맥 성능을 개선한다고 크래프톤 AI는 설명합니다. KV 캐시는 MLA 레이어에만 유지되며 BF16 기준 토큰당 약 8KiB입니다. 기본 문맥 길이는 262,144토큰입니다. Raon-mHC는 DeepSeek의 mHC 계산 비용을 줄여 학습 속도를 높이는 기법으로 소개됐습니다.

한국어, 영어, 일본어, 중국어, 스페인어, 프랑스어, 태국어로 학습했으며, 추론 모드를 기본으로 설계했습니다. 도구 호출을 지원하고 Hermes Agent, Pi, OpenCode에 연결할 수 있습니다. Transformers, vLLM, llama.cpp, Apple Silicon용 MLX 실행 경로와 GGUF, MXFP8, NVFP4 형식도 제공합니다. NVFP4는 RTX 5090 한 장에서 추론할 수 있다고 안내합니다. 다만 RTX 5090 설정은 문맥 길이를 32,768토큰으로 제한하며 CUDA Toolkit 13이 필요합니다. 저장소에는 DFlash2 초안 모델도 포함됐습니다.

공개 벤치마크

크래프톤 AI가 공개한 비교표에서 Raon-1 mini는 비교 대상으로 든 MoE 모델 세 개 가운데 IFBench 84.2, BrowseComp Plus 55.7, 한국어 내부 대화 평가 92.9로 가장 높은 점수를 기록했습니다. GPQA Diamond는 84.3, AIME 2026은 93.3으로 해당 MoE 비교군에서 앞섰습니다. 반면 MMLU Pro는 76.5로 비교 모델보다 낮았고, BFCL v4는 59.8로 Qwen3.6-35B-A3B와 Gemma 4 26B-A4B에 뒤졌습니다. 코딩에서는 LiveCodeBench v6가 81.6으로 비교 MoE 중 가장 높았지만 SWE-Verified는 70.8로 Qwen3.6보다 높고 Qwen3.8 dense 모델보다 낮았습니다. Terminal-Bench Lite 점수는 47.0으로 표의 모든 모델보다 낮습니다. 크래프톤은 평가에 gpt-5.6-luna를 판정자와 사용자 시뮬레이터로 썼으며, 한국어 평가는 내부 벤치마크라 공개되지 않았다고 밝혔습니다.

DFlash2 처리량은 NVIDIA B300 한 대에서 측정했습니다. GSM8K 단일 동시 요청 결과는 자동회귀 생성의 초당 296.3토큰에서 DFlash2의 646.3토큰으로 2.18배 늘었습니다. MT-Bench의 동시 요청 8개에서는 1.38배 향상했습니다. 수치는 vLLM 0.28.0, MXFP8 모델, 정해진 샘플링 설정과 프롬프트 수를 사용한 결과이며, 하드웨어와 작업에 따라 속도 향상이 달라진다고 명시했습니다.

Reddit 반응

@u/Sevealin_ — Hugging Face 벤치마크에서는 Qwen3.6-35B를 이기는 것처럼 보입니다.
- @u/beached89 — 코딩 벤치마크에서는 Qwen 27B도 이기는 것처럼 보입니다. 많은 사람에게 코딩 벤치마크가 가장 중요합니다.
- @u/Alpine_fury — 긴 문맥 코딩 작업에서 MoE 모델은 신뢰하기 어렵습니다. Qwen3.6-35B는 27B와 차이가 작았지만 실제 사용에서는 금방 무너졌고 dense 모델은 계속 작업했습니다.
- @u/EmPips — 동의합니다. 작은 MoE 모델은 벤치마크 수치가 보여주는 것보다 실제 성능이 훨씬 뒤처집니다.
@u/1_________________11 — 누가 써보나요?
- @u/enternoescape — 오늘 밤 시험해 보려고 합니다. 권장 하드웨어는 없지만 작동시킬 수 있을 것 같습니다.
- @u/grimepoch — GLSL 셰이더 코딩으로 Qwen3.8 Flash-Next와 비교해 봤습니다. Raon은 권장 출력 토큰 한도를 다 쓸 때까지 요청과 관련된 결과를 내지 못했습니다. 출력 한도를 높여 수리 작업에서도 확인 중인데, 제가 요청한 내용과 맞지 않습니다. 셰이더 작업이 이 모델의 학습 분야와 맞지 않거나 프리뷰 문제일 수도 있습니다.
@u/Loose_Comparison368 — MoE는 같은 규모의 dense 모델과 학습 비용을 단순 비교하기 어렵습니다. 사전학습 중 전문가 하나만 주로 학습하고 이를 복제한 뒤 전문가별로 특화시키는 방식으로 효율을 높일 수 있습니다. 적은 GPU 자원으로 성능을 끌어올리려는 연구에서 발전한 기법이며, 좋은 엔지니어링이 큰 자본과 경쟁할 수 있다는 점에서 반갑습니다.
@u/derspenti — 벤치마크가 헤드라인을 만들지만, 공개 첫날부터 NVFP4와 MLX 빌드를 제공한 점이 로컬 모델 사용자에게는 실제로 중요합니다.
@u/Not_a_question- — VRAM 8GB와 시스템 메모리 32~48GB인 일반 게이밍 노트북에서도 실행할 수 있나요?

원문: Hugging Face / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗