Reddit

Ling-3.1-flash-1019 weights are out, and they released the base model too

Ling-3.1-flash-1019 가중치 공개, 베이스 모델도 함께 출시

InclusionAI가 총 560B, 토큰당 활성 25B 파라미터와 100만 토큰 컨텍스트를 지원하는 Ling-3.1-flash-1019 가중치를 공개했습니다. 제작사 측은 이전 버전보다 여러 추론·과학·에이전트 벤치마크 점수가 올랐다고 밝혔으며, Reddit에서는 베이스 모델 공개와 실제 구동에 필요한 GPU 자원, 비교 모델 선택을 두고 의견이 나왔습니다.

에디터 노트

베이스 체크포인트 공개는 이 발표에서 채팅 모델의 점수 상승과 구분해서 볼 만한 변화입니다. 댓글 작성자는 자체 사후학습의 출발점으로 베이스 모델을 반겼고, 47개 벤치마크 표도 베이스 모델끼리 비교한 결과라고 설명했습니다. 이 비교를 1019 채팅 모델의 성능 근거로 가져오면 대상이 달라집니다. 수치 개선은 제작사가 공개한 벤치마크 결과이며, 댓글에는 이를 독립적으로 재현한 측정값이 없습니다. DS41F 1017이 더 적은 자원을 쓰고 빠르다는 주장은 댓글의 비교 의견으로 남아 있습니다. 공개된 추론 예시가 H200 8개나 GB300 4개를 요구한다는 점은 모델의 규모를 구체적으로 보여줍니다. 또한 댓글 지적대로 SGLang 명령의 모델 경로가 이전 체크포인트를 가리킨다면 새 가중치를 받는 사용자는 경로를 직접 수정해야 합니다.

AI 요약

InclusionAI가 Ling-3.1-flash의 개선판 Ling-3.1-flash-1019를 공개했습니다. 총 파라미터는 560B이며 토큰마다 활성화되는 파라미터는 25B입니다. 컨텍스트 창은 100만 토큰입니다. Reddit 댓글은 추가 사전학습에 활용할 수 있는 Ling-3.1-flash-base도 BF16으로 공개됐다고 전합니다.

모델 구성과 발표된 평가

모델은 Hybrid-linear MoE 구조입니다. 63개 KDA 층과 9개 Gated MLA 층을 7:1 비율로 배치했고, 라우팅 전문가 512개 가운데 토큰당 8개를 활성화합니다. 공유 전문가 1개와 Dense 층 4개도 포함합니다. 히든 크기는 4096이며 어휘 크기는 157,184입니다.

제작사 발표에 따르면 AA-Briefcase 점수는 약 1400에서 1524 Elo로, AutomationBench-AA는 62%에서 68%로 상승했습니다. 과학 벤치마크 CritPt는 18%에서 26%, SciCode는 54%에서 57%로 올랐습니다. Artificial Analysis Intelligence Index v4.3.2 점수는 이전 모델의 41에서 44가 됐습니다. 이 수치는 발표 자료에 기재된 결과입니다.

추론 서버 설정

공개된 SGLang 이미지는 Ling-3.1-flash와 MTP(NEXTN) 추측 디코딩, Hopper 디코드 최적화를 지원합니다. 예시 서버 설정은 H200 8개에서 TP8·EP8을 사용하고, GB300 4개에서는 TP4·EP4를 사용합니다. 배치 크기 1의 디코드 속도를 약 10% 높이는 선택 설정도 안내합니다. SGLang 요리책에는 H200, GB300, H800, H100, B200 설정과 HiCache, 도구 호출, 정확도·속도 측정 자료가 있다고 설명합니다.

vLLM 실행 예시는 Tensor Parallel 크기 8, GPU 메모리 사용률 0.85, Prefix Caching과 Expert Parallel을 활성화합니다. MTP로 추측 토큰 3개를 설정하고 ling3 파서를 지정합니다. 추론 시에는 temperature 1.0, top_p 0.95, top_k 20과 thinking 활성화를 권장합니다.

Reddit 반응

  • @BerryBlush_Rogers691 — '곧 공개'가 5일을 뜻했네요. 지난주에 이전 발표를 올렸습니다. 1019 가중치가 이제 Hugging Face에 올라왔습니다. 총 560B, 활성 25B, 컨텍스트 100만 토큰은 그대로입니다. 발표에 따르면 AA Intelligence Index v4.3.2에서 41점이 44점으로 올랐고 AutomationBench-AA는 62%에서 68%가 됐습니다. 추가 학습을 위한 Ling-3.1-flash-base도 BF16으로 공개했습니다. 완성된 채팅 모델에서 시작하지 않고 자체 사후학습을 시작할 수 있어서 반갑습니다. 작은 함정이 하나 있는데 1019 README의 SGLang 예시는 아직 inclusionAI/Ling-3.1-flash를 가리킵니다. 새 체크포인트에 명령을 복사한다면 모델 경로를 inclusionAI/Ling-3.1-flash-1019로 바꾸세요.
  • @BawbbySmith — 이 벤치마크에서 1점 높고 Engram과 기본 MXFP4/MXFP8 덕분에 구동 자원이 적게 들며 활성 파라미터도 훨씬 적어 더 빠른 DS41F 1017 대신 이 모델을 선택할 이유가 있나요?
    • @BerryBlush_Rogers691 — 제게는 베이스 모델 공개가 더 흥미롭습니다. 1019의 숫자가 1017보다 크다는 이유만으로 잘 작동하는 DS 설정을 바꾸지는 않겠습니다.
  • @crusaderky — 여러 모델이 함께 판단하는 오케스트레이션에 좋습니다. 저는 다른 의견을 하나 더 듣는 걸 좋아합니다.
  • @P3trich0r97 — 제가 써본 Ling 모델은 전부 문제가 있었습니다.
    • @latent_lurker8587 — 어떤 모델이었고 어떤 문제가 있었나요? 그냥 궁금해서요.
  • @Holiday-Inspection75 — 3.0 flash나 tiny는 마음에 듭니다. 하지만 flash는 대부분의 사람에게 너무 큽니다. 24B-a3b 같은 더 작은 모델도 내놓으면 좋겠습니다.
  • @Borkato — 제가 써본 다른 모델보다 훨씬 빠르게 엄청난 양의 문서나 코드를 요약하고 간단한 질문에도 잘 답합니다. 이 두 용도는 제게 의외로 자주 필요하지만 그 밖에는 잘 모르겠습니다.
  • @BerryBlush_Rogers691 — 베이스 모델은 DeepSeek-V4-Pro-Base와 MiMo-V2.5-Pro-Base를 상대로 한 47개 벤치마크 표가 있습니다. 다만 베이스 모델끼리 비교한 결과이지 1019 채팅 모델 결과는 아닙니다.
  • @Jacalyn_Nivins — 새 가중치를 공개했는데 README는 아직 SGLang에서 예전 체크포인트를 가리키네요. 전형적인 출시 당일 실수입니다. 그래도 지원 티켓을 넣는 대신 한 줄만 고치면 되네요.

원문: Hugging Face 모델 페이지, Reddit / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗