존 랭퍼드 “AI Frontiers 끝났다”… Microsoft AI 재편 뒤 떠나

Microsoft Research에서 AI Frontiers 창설에 참여한 연구자 John Langford는 2026년 11월 6일 개인 블로그에 “AI Frontiers는 끝났다”고 썼습니다. 조직이 그해 9월 초 Microsoft AI(MAI)로 재편된 뒤 자신도 떠났다고 밝혔습니다. 이 글은 재편 이후 떠난 연구자의 개인적인 회고입니다.

Langford는 2023년 ChatGPT 공개 뒤 연구를 조직적으로 추진할 필요를 느꼈다고 설명했습니다. 한 연구자가 혼자 아이디어를 밀면 다른 연구 그룹만큼 지원과 집중을 받기 어렵고, 비교 기준도 충분히 강하게 마련하기 힘들어 아이디어의 가치를 설득하기 어려웠다는 것입니다. 이런 문제의식을 공유한 동료들과 Microsoft Research 안에 AI Frontiers를 만들었습니다. 그가 밝힌 조직 규모는 약 50명이었습니다. 구성원들은 연구 과제를 조직적으로 추진하려 했지만, 의견 차이를 조정하는 일이 어려웠고 연산 자원도 자주 심각한 병목이 됐습니다. Langford는 이런 조건에서도 이전보다 선도적인 연구를 할 수 있었다고 평가했습니다.

AI Frontiers는 에이전트 개발과 기초 역량 연구를 함께 했습니다. AutoGen은 에이전트 작업을 조율하는 프레임워크였고, Fara는 화면을 보고 스크롤·클릭·입력하는 컴퓨터 사용 에이전트였습니다. 뉴욕의 일부 연구자들은 외삽을 가능하게 하는 Next Latent 목적함수, Muon 최적화 기법을 개선한 Dion3, 재귀를 활용해 모델 기능을 높이는 Full Bandwidth Transformer(FBT) 등을 연구했습니다. 실제 에이전트 개발과 모델의 구조·학습 방식을 다루는 연구가 한 조직 안에서 병행됐습니다.

FBT가 바꾸려는 것은 토큰 생성 단계 사이의 정보 전달 방식입니다. 표준 자기회귀 Transformer는 다음 단계 입력으로 샘플링한 토큰을 넘기고, 이전 단계의 최상층 은닉 상태는 버립니다. FBT는 그 은닉 상태를 샘플링한 토큰의 임베딩과 결합해 다음 입력으로 되돌립니다. 이 설계는 토큰으로 직접 표현하지 않은 계산 정보도 다음 생성 단계에서 이어 쓰도록 합니다.

FBT 논문 저자들은 10억 파라미터 모델을 최대 4,000억 토큰으로 학습한 실험에서 검증 손실, 5-shot 언어 모델 평가, 수학·코딩 생성과 지시 조정 성능이 개선됐다고 보고했습니다. 이 모델은 표준 Transformer가 약 1.5배 더 많은 토큰으로 학습한 경우와 비슷하거나 이에 근접한 성능을 보였습니다. Langford는 자신이 인용한 ByteDance 실험도 FBT 변형이 두 배 규모 모델에 필적할 가능성을 시사한다고 소개했습니다. 그는 이런 연구가 같은 능력을 더 적은 학습·추론 비용으로 구현할 가능성을 보여 준다고 주장했습니다.

Langford에 따르면 AI Frontiers는 2026년 9월 초 Microsoft AI로 재편됐습니다. 그는 두 AI 조직을 합쳐 자원을 더 잘 집중할 여지가 있다는 점은 이해할 수 있다고 했지만, 실제로는 MAI 지도부의 방향과 자신이 추구한 연구가 맞지 않았다고 썼습니다. 그가 묘사한 MAI의 핵심 방향은 모델 규모 확대를 중심에 두는 스케일링이었고, 이런 환경에서는 데이터 확보·제작·정제가 주요 과제가 된다는 설명입니다. 큰 모델이 예측 품질을 높인다는 근거가 있고 규모 확대의 사업상 수익은 연구 성과보다 예측하기 쉽다는 판단도 이해한다고 덧붙였습니다. 다만 Langford에게는 연구를 실제 사용으로 연결하는 일이 중요했습니다. 그는 MAI에서 자신의 제안을 실제로 도입하거나 진지하게 검토하게 만들지 못했다고 밝혔습니다.

Langford는 Microsoft Research로 돌아가지 않은 이유로 자신의 연구가 실제 쓰임으로 이어질 전망이 작다고 본 점을 들었습니다. 좋은 연구를 하면 좋은 일이 돌아온다는 Microsoft Research의 기본 약속이 깨졌다고 느꼈으며, 연구 조직의 지도부가 현 상황에 맞춰 효과적으로 조직할 의지를 갖춰야 한다고 썼습니다. 그는 팀원들을 가능한 범위에서 다른 자리에 배치한 뒤 떠났고, 다음 해에는 AI Frontiers 구성원들과 함께하는 인턴십도 없을 것이라고 밝혔습니다.