AI 모델, 읽기 어려움과 연관된 언어적 특징 더 자주 사용한다는 연구
연구진은 14개 언어 모델의 대화·코딩·에세이를 분석해 희귀한 단어 조합, 긴 의존 관계, 명사 중첩 등 읽기 부담과 연관된 표현이 사람 글과 번역 바꿔쓰기보다 자주 나타난다고 보고합니다. 길이 페널티를 적용한 소규모 실험에서는 학습하지 않은 문장 구조에서도 짧은 표현을 선호하는 경향이 생겼습니다.
AI 모델 · 최신기사
모델 공개와 성능, 가중치와 이용 조건을 다룹니다.
Next-Concept Modeling: 거친 단계에서 세밀한 단계로 병렬·고속 텍스트 생성
Next-Concept Modeling(NCM)은 텍스트를 계층형 이산 코드로 바꾼 뒤, 거친 단계부터 세밀한 단계까지 각 단계의 코드를 병렬로 생성합니다. 논문은 여러 벤치마크에서 diffusion language model(DLM)보다 최대 31배 빠른 결과를 보고하고, 스도쿠에서는 autoregressive 및 diffusion 기준 모델보다 적은 함수 평가로 높은 성능을 냈다고 설명합니다.
물리학 벤치마크가 잘못 채점하고 있었다 — 오류 수정 후 프론티어 모델 점수 급등
Yale 물리학 연구진이 CritPt, Humanity's Last Exam 등 주요 물리 벤치마크를 전수 감사한 결과, 프론티어 모델의 정답 상당수가 채점 파이프라인 오류나 문항 자체 결함으로 오답 처리된 'false negative'였습니다. 결함 문항을 수정·제외하고 재채점하자 GPT-5.6 Sol의 CritPt 점수가 32%에서 87.5%로 뛰는 등 모든 벤치마크가 사실상 포화 상태에 근접했습니다.
LLM의 RL 학습에서 어려운 문제를 포기하지 않고 풀도록 만드는 방법 — Matthew Effect와 Never Give Up
LLM의 RL post-training에서 성능 향상이 주로 쉬운 문제에서 발생하고 어려운 문제는 거의 개선되지 않는다는 'Matthew Effect'를 지적한 연구입니다. 저자는 쉬운 문제에는 적은 샘플, 어려운 문제에는 확률적으로 재샘플링을 계속하는 'Never Give Up(NGU)' 기법을 제안하며, 수학·코드 RL 실험에서 가장 어려운 문제군의 성능을 끌어올렸음을 보입니다.