Product Hunt

Step 5 Preview — 600B open weights, trained for long-running agents

Step 5 Preview — 장시간 에이전트 작업을 위해 학습한 600B 오픈 웨이트 모델

StepFun이 코딩, 금융 리서치, 장시간 에이전트 작업용 MoE 모델 Step 5 Preview의 가중치를 공개했습니다. 전체 파라미터는 600B, 토큰당 활성 파라미터는 27B이며 1M 토큰 컨텍스트를 지원하고 vLLM, SGLang, Transformers로 배포할 수 있습니다.

에디터 노트

600B 전체 규모보다 토큰당 27B 활성화와 1M 토큰 컨텍스트가 실행과 장시간 작업에서 어떤 결과를 내는지가 실제 비교 지점입니다. 댓글에는 H100 커널 최적화 수치와 Pokémon 진행 사례가 나오지만 모두 StepFun 측 테스트를 소개한 내용이며, 다른 오픈 웨이트 모델과의 코딩 성능 비교나 장시간 작업 중 결정 유지 여부는 답이 없습니다. 가중치와 여러 배포 경로를 공개해 직접 시험할 여지는 넓혔습니다. 다만 실제 배포 비용과 하드웨어 요구량은 제공된 자료에 없고, 높은 TFLOPS 결과도 한 커널 최적화 테스트에 한정됩니다. 댓글의 RLCD 요청은 빠른 의사 결정에 별도 구성이 필요하다는 요구를 보여주지만 StepFun의 계획은 확인되지 않습니다.

AI 요약

StepFun이 오픈 웨이트 MoE 모델 Step 5 Preview를 공개했습니다. 코딩과 금융 리서치, 장시간 에이전트 작업을 겨냥하며 전체 파라미터 600B 중 토큰마다 27B를 활성화합니다. 컨텍스트 길이는 1M 토큰이며 vLLM, SGLang, Transformers 배포를 지원합니다.

학습과 평가 사례

Product Hunt 댓글 작성자는 기술 문서에 장시간 에이전트 작업을 위한 학습 방식이 담겼다고 전했습니다. 그 설명에 따르면 모델은 92개 Transformer 레이어와 긴 컨텍스트 처리를 위한 sparse attention을 사용하며, 컨텍스트가 부족할 때 무엇을 보존할지 익히도록 RL 학습에 컨텍스트 압축을 포함했습니다. H100 GPU 커널 최적화 24시간 테스트에서는 StepFun 측 결과로 최고 508 TFLOPS를 기록했고, 댓글 작성자는 이를 Opus 5의 493 TFLOPS와 비교했습니다. Pokémon Red를 3,000턴 이상, 600만 토큰 동안 진행한 사례도 언급했습니다. FP8, BF16, NVFP4 가중치와 vLLM, SGLang 배포 안내를 제공한다고 덧붙였습니다.

Product Hunt 반응

  • @zaczuo — 안녕하세요. StepFun이 Step 5 Preview 가중치를 공개했습니다. API로는 이미 사용할 수 있었고, 이제 600B MoE 모델을 Hugging Face에서 받을 수 있습니다. 토큰마다 27B 파라미터만 활성화하며 컨텍스트 길이는 1M 토큰입니다. 기술 문서에는 장시간 에이전트 작업을 위한 학습 방식이 자세히 나옵니다. 92개 Transformer 레이어와 긴 컨텍스트를 위한 sparse attention을 사용하고, 컨텍스트가 부족할 때 무엇을 남길지 에이전트가 학습하도록 컨텍스트 압축도 RL 학습에 포함했습니다. 한 테스트에서는 H100 GPU 커널을 최적화하도록 24시간을 줬습니다. 최고 결과는 508 TFLOPS로 StepFun의 테스트에서 Opus 5가 기록한 493보다 높았습니다. Pokémon Red를 3,000턴 이상, 600만 토큰 동안 진행하게 하기도 했습니다. 배지 세 개를 얻었고 아직 진행률은 약 3분의 1이었습니다. FP8, BF16, NVFP4 가중치를 제공하며 vLLM과 SGLang 배포 안내도 있습니다.
    • @julian_ting2 — 드디어 가중치가 공개되어 기쁩니다. 기술 문서 링크도 도움이 되네요. FP8과 NVFP4를 쓸 수 있는 점도 편리합니다.
  • @musleh_khaleel — 대단한 작업입니다. 빨리 써보고 싶네요. 빠른 의사 결정을 위한 RLCD도 제공하면 좋겠습니다. 추론과 의사 결정을 나눠 처리하는 라우터가 있으면 이런 모델을 더 잘 활용할 수 있을 텐데, 곧 개발할 계획이 있나요?
  • @aarav_pittman — 가중치를 공개한 점이 좋습니다. 개발자가 모델을 더 자유롭게 시험하고 자기 환경에서 실행할 수 있습니다.
  • @anthony_adams_ — vLLM, SGLang, Transformers를 지원하는 점이 좋습니다. 사람들이 모델을 시험할 방법이 더 많아집니다.
  • @michael_patrick_cravens — 600B 중 27B만 활성화한다면 언젠가 직접 실행해볼 수도 있겠네요. 오픈 웨이트와 vLLM, SGLang 안내도 큰 장점입니다.
  • @daniel_henry4 — 다른 오픈 웨이트 모델과 비교하면 코딩 작업 성능은 어떤가요?
  • @maklyen_may — 에이전트가 몇 시간 동안 작업할 때 앞서 내린 결정을 계속 기억하나요?

원문: Product Hunt / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗