Reflection, 501B 오픈 웨이트 모델 Beam 공개

Reflection이 Apache 2.0 라이선스로 텍스트 모델 Beam 1.0을 공개했습니다. 총 501.3B 파라미터 중 23.4B를 활성화하는 MoE 모델이며, 1M 토큰 문맥과 BF16, FP8, NVFP4 버전을 지원합니다. 모델 카드에는 코딩, 추론, 도구 사용 벤치마크 결과와 학습 데이터 및 안전성 평가 개요가 실렸습니다.

주제: AI 오픈소스 개발 도구

에디터 노트

Beam의 강점은 큰 모델 크기만이 아니라 세 수치 형식의 결과를 나란히 공개하고 코딩, 추론, 도구 사용을 폭넓게 평가한 데 있습니다. 표에서는 FP8이나 NVFP4가 일부 과제에서 BF16과 비슷하거나 더 높은 점수를 내지만, 결과는 평가 설정에 따라 달라지며 세 형식이 모든 과제에서 동등하다는 뜻은 아닙니다. 수치는 Reflection이 모델 카드에 보고한 자체 평가 결과입니다. 기술 보고서는 아직 공개 예정이고 평가 데이터 구성과 재현 절차는 이 페이지에 충분히 제시되지 않았습니다. 안전성 표도 거절률과 무해 요청 준수율을 보여주지만 세부 평가 조건은 별도 보고서에 남겨 둡니다. 따라서 현재 확인 가능한 비교 자료로는 유용하지만, 점수만으로 실제 배포 환경의 성능이나 안전성을 판단하기에는 정보가 제한적입니다.

AI 요약

Reflection이 공개한 Beam 1.0은 텍스트 입력을 텍스트 출력으로 바꾸는 오픈 웨이트 모델입니다. Apache 2.0 라이선스를 적용했으며, 지시 조정 버전을 BF16, FP8, NVFP4 수치 형식으로 제공합니다. 모델은 영어를 중심으로 개발했고 총 파라미터 501.3B 가운데 23.4B를 활성화하는 희소 혼합 전문가(MoE) 구조입니다. 52개 레이어 중 3개는 dense, 49개는 MoE이며 전문가 수는 256개입니다. Gated GQA와 Sliding Window Attention을 사용하고 문맥 길이는 1M 토큰, 어휘 크기는 152k입니다.

기능과 평가

Reflection은 Beam을 에이전트 도구 사용, 소프트웨어 개발, 일반 추론에 맞췄다고 설명합니다. 추론 시 토큰을 약 3배 적게 쓰면서 선도 오픈 모델과 비슷한 해답 품질을 낸다는 것이 토큰 효율성 주장입니다. GitHub 이슈 해결, CLI와 DevOps 환경 작업, 코딩 에이전트 통합, MCP 도구 연결, 웹 탐색, 장기 작업 수행을 기능으로 제시합니다. 수학과 과학 문제 풀이, 정리 증명, 디버깅과 계획, 실행 중 자기 수정도 지원 목표에 포함합니다.

모델 카드의 벤치마크 표는 세 수치 형식별 결과를 공개합니다. BF16 기준 SWE-bench Verified는 81.6%, SWE-bench Pro v2-Hard는 76.5%, Terminal Bench v2.1은 80.1%입니다. GPQA Diamond는 90.6%, AIME 2026은 97.7%이며 도구를 사용한 HLE는 51.1%입니다. MCP Atlas는 80.8%, context management를 적용한 BrowseComp는 76.8%입니다. 세 형식은 벤치마크에 따라 순위가 달라집니다. 예를 들어 SWE-bench Pro v2-Hard에서는 NVFP4가 78.6%로 BF16의 76.5%보다 높고, Terminal Bench v2.1에서는 BF16이 80.1%로 가장 높습니다. 모든 평가는 temperature 0.7, top_p 0.99 설정으로 진행했다고 밝힙니다.

학습 데이터와 안전성

사전 학습 데이터는 공개 자료와 상업 파트너에게서 얻은 자료로 구성합니다. 일반 웹 문서, 소스 코드, 기술 문서, 참고 자료, 교육·과학 문서를 포함합니다. 중간 학습에는 코드 저장소, 장기 작업, 장문 문서에서 선별한 실제 사례를 활용합니다. 강화 학습은 코딩, 에이전트 작업, STEM 환경을 사용하며 주로 합성 파이프라인으로 만들고 독점 공급업체 및 오픈소스 자료를 보완합니다.

데이터 품질 분류와 등급별 가중치 학습, 정확·근사 중복 제거, 언어별 코드 필터링을 적용했다고 설명합니다. PDF 교육 자료는 상용 비전 언어 OCR 모델로 텍스트화한 뒤 품질이 낮은 결과를 걸러냅니다. 개인 식별 정보와 유해하거나 민감한 콘텐츠를 줄이기 위한 데이터 선별도 진행합니다. 안전성은 Open Safety Framework 평가, 외부 제3자 평가, 자체 Iris Safety Evaluations로 점검했다고 밝혔습니다. 통합 결과에서 유해 요청 거절·전환율은 BF16 88.9%, FP8 89.7%, NVFP4 88.5%였고, 무해 요청 준수율은 각각 81.5%, 81.6%, 82.1%였습니다. 세부 안전성 보고서는 별도 링크로 안내하며 기술 보고서는 공개 예정으로 표시했습니다.

이용 조건

상업·연구 목적의 사용과 미세 조정, 양자화, 모델 병합, 출력물을 이용한 다른 모델 학습을 허용한다고 모델 카드에 적었습니다. 허가된 시스템을 대상으로 한 방어적 보안 연구와 선의의 적대적 평가도 허용 항목에 포함합니다. 반면 사용자는 관련 법규와 사용 정책을 확인해야 한다고 안내합니다.

원문: Hugging Face / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗