Recursive Flint: 코딩 에이전트용 398억 파라미터 MoE 모델

AI 요약

Recursive가 코딩 에이전트용 언어 모델 Flint를 공개했습니다. 코드베이스 조사, 버그 수정, 기능 구현, 테스트 작성에 맞춰 학습했으며 텍스트 입출력, 추론, 여러 차례 이어지는 도구 호출을 지원합니다. 공개 평가 점수는 Terminal-Bench 2.1에서 54.9%, SWE-bench Pro v2에서 89.7%, SWE-bench Verified에서 74.2%입니다.

구조와 평가

Flint는 총 398억 파라미터의 decoder-only MoE Transformer입니다. 49개 층 가운데 앞의 2개는 dense 층이고 나머지 47개는 MoE 층입니다. MoE 층마다 라우팅 전문가 256개 중 토큰당 6개를 선택하고, 공유 전문가 1개는 항상 활성화합니다. 토큰당 활성 파라미터는 출력 헤드를 포함해 약 25억 개이며, 본체만 계산하면 약 22억 개입니다.

문서에 적힌 컨텍스트 설정은 입력과 출력 합계 262,144토큰입니다. 어텐션 층은 sliding-window 35개와 full-attention 14개로 구성하며, 슬라이딩 윈도는 현재 토큰과 앞선 512개 토큰을 포함합니다. 체크포인트, 설정 파일, 토크나이저, 채팅 템플릿과 SGLang 서빙 키트를 제공하고, 별도 양자화 모델은 NVIDIA 및 Apple Silicon 런타임용으로 준비합니다.

평가에는 temperature 1.0, top-p 0.95, top-k 20을 적용했습니다. Terminal-Bench는 Terminus 2를, SWE-bench는 mini-swe-agent를 사용했습니다. 에이전트 점수는 최소 5회 시도의 평균 pass@1입니다. Flint의 Terminal-Bench 점수는 웹 검색으로 얻은 해답을 실패로 계산하지만, 개발자가 보고한 비교 점수에는 같은 조정이 적용되지 않을 수 있습니다. 표기된 평가 설정이 출처마다 다를 수 있다는 점도 안내합니다.

실행과 제약

BF16 체크포인트 용량은 약 80GB입니다. 제공된 SGLang 키트로 B300 또는 H200 GPU 한 장당 복제본 하나를 실행할 수 있습니다. Transformers 모델링 코드는 아직 포함하지 않았습니다. OpenAI 호환 도구 호출을 지원하며, 대화 기록을 이어갈 때 체크포인트의 채팅 템플릿을 사용하고 반환된 reasoning_content를 보존하라고 안내합니다. 어려운 문제는 추론을 포함해 최소 32,768토큰의 출력 예산을 권장합니다.

Flint는 사전 학습, 중간 학습, 지도 미세 조정, 강화 학습을 거쳐 처음부터 학습했습니다. 지도 미세 조정에는 안전 관련 예시가 들어갔지만 잘못되거나 유해한 출력, 결함 있는 코드, 부적절한 도구 호출이 나올 수 있다고 밝힙니다. 도구를 쓰는 서비스는 자체 권한과 실행 경계를 적용해야 합니다. 긴 추론은 지연을 늘리고 출력 예산을 소진할 수 있으며, 긴 컨텍스트 설정이 모든 길이와 작업에서 같은 정확도를 보장하지는 않습니다. 라이선스는 Apache 2.0이며 호스팅 API의 약관과 데이터 처리 정책은 별도입니다.

원문: Hugging Face / 번역·요약: Trawling