Reddit

I just came across Next-Concept Modeling and the idea is fascinating[R]

Next-Concept Modeling: 거친 단계에서 세밀한 단계로 병렬·고속 텍스트 생성

Next-Concept Modeling(NCM)은 텍스트를 계층형 이산 코드로 바꾼 뒤, 거친 단계부터 세밀한 단계까지 각 단계의 코드를 병렬로 생성합니다. 논문은 여러 벤치마크에서 diffusion language model(DLM)보다 최대 31배 빠른 결과를 보고하고, 스도쿠에서는 autoregressive 및 diffusion 기준 모델보다 적은 함수 평가로 높은 성능을 냈다고 설명합니다.

에디터 노트

이번 결과의 비교 범위는 속도 수치마다 다릅니다. LM1B, OpenWebText, XSum의 21배, 10배, 31배는 DLM 기준 모델과 비교한 값이고, 초록은 이 세 과제에서 autoregressive 모델보다 빠르다고 주장하지 않습니다. 스도쿠에서는 두 계열의 기준 모델을 모두 비교했지만, 구체적인 점수와 평가 설정은 제공된 초록에 없습니다. Reddit에서는 Hierarchy-dLLM과의 유사성이 제기됐고, 다른 댓글은 추론 시 디코딩만 바꾸는 방식과 개념 표현을 직접 학습하는 방식은 다르다고 반박합니다. 이 구분은 NCM의 기여를 판단할 때 중요하지만, 댓글만으로 두 방법의 구조와 차이를 확인할 수는 없습니다. 10억 개가 넘는 규모에서의 확장성도 질문으로 남아 있으며, 초록에 해당 규모의 실험 결과는 제시되지 않았습니다.

AI 요약

확산 언어 모델(DLM)은 토큰을 순차 생성하는 autoregressive 모델보다 병렬 샘플링으로 빠르게 텍스트를 만들 수 있습니다. 하지만 샘플링 단계를 줄이면 품질이 빠르게 떨어지고, 매 단계 전체 시퀀스를 처리하며, 좋은 품질을 얻으려면 데이터셋을 여러 차례 학습해야 하는 문제가 있습니다. 논문은 이런 제약을 줄이기 위해 Next-Concept Modeling(NCM)을 제안합니다.

NCM의 생성 방식

NCM은 두 단계로 작동합니다. 먼저 multiscale residual VQ-VAE가 텍스트를 여러 수준의 이산 코드로 인코딩합니다. 이어 transformer가 한 번에 한 수준씩 코드를 생성하되, 같은 수준에 속한 코드들은 병렬로 예측합니다. 생성은 거친 수준에서 시작해 더 세밀한 수준으로 진행되며, 마지막에 디코더가 코드 표현을 텍스트로 바꿉니다.

벤치마크 결과

논문 초록에 따르면 LM1B에서는 파라미터 규모를 맞춘 비교에서 가장 강한 DLM 기준 모델보다 생성 perplexity가 낮았고, 생성 속도는 21배 빨랐습니다. OpenWebText에서는 가장 강한 DLM과 경쟁력 있는 성능을 내면서 10배 빠르게 실행됐습니다. XSum에서는 DLM 기준 모델과 ROUGE-L 점수가 같았고 속도는 31배 빨랐습니다. 스도쿠 추론 과제에서는 모든 난이도에서 autoregressive 및 diffusion 기준 모델을 앞섰으며, 함수 평가 횟수도 더 적었다고 보고합니다.

Reddit 반응

  • @PanelReader — 언어 모델, 특히 다음 토큰 예측을 공부하다 Next-Concept Modeling 논문을 발견했습니다. 텍스트를 토큰 단위로 하나씩 예측하는 대신 이산 코드의 계층을 학습합니다. 먼저 거친 수준을 생성하고 더 세밀한 수준의 코드를 병렬로 예측한 뒤 디코더가 표현을 텍스트로 바꿉니다. 연구진은 특정 벤치마크에서 diffusion language model 기준 모델보다 최대 31배 빠르다고 보고합니다. 아직 배우는 중이라 특히 VQ-VAE 부분이 궁금합니다. 이 접근법을 살펴본 사람이 있나요?
  • @SillyNeuron — Hierarchy-dLLM(ICLR 2026)도 비슷한 일을 했고, 학습이 필요 없는 방법입니다. 논문을 자세히 읽지 않아 NCM에서 새로운 점이 무엇인지는 모르겠습니다. Hierarchy-dLLM과 같은 일을 새로운 학습 방식으로 하는 것 외에 차이가 있나요?
  • @shravanrevanna — 학습이 필요 없다는 말은 새 가중치가 필요 없다는 뜻일 뿐입니다. NCM이 모델을 직접 개념 예측에 맞춰 학습한다면 표현 자체가 바뀌므로, 추론 시점에 디코딩 구조만 재구성해서는 얻을 수 없습니다.
  • @professormunchies — 10억 개가 넘는 파라미터 규모에서 어떻게 확장되는지 지켜보겠습니다. 이미지 생성에서는 CNN에서 VAE, GAN, diffusion으로 넘어가며 앞선 방법보다 나은 방법이 등장했습니다. 지금은 기존 초안 생성 방식이 dflash 같은 diffusion 계열 모델로 대체되는 모습입니다. 이번 사례가 같은 흐름이라고 단정하는 것은 아니지만, 실험 규모가 가장 큰 모델 단계에서도 성립할지는 의문입니다.
  • @posthumann — 단어를 대상으로 한 coarse-to-fine 텍스트 생성 diffusion인가요?

원문: arXiv / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗