Astra, Qwen의 반복 추론을 가중치 일부 수정으로 줄여

본문

MIT CSAIL 소속으로 기재된 Rikiya Takehi, Jayden Teoh, Alex Zhang, Omar Khattab은 11월 2일 GPT-6 Astra가 신경망 가중치를 읽고 직접 수정한 초기 실험을 공개했습니다. 이들이 Weight-Space Programming이라고 부르는 방식으로 Qwen3.5-0.8B의 반복 추론을 줄였고, 가중치 0.016%를 바꾼 모델의 MATH-500 점수는 7.9%에서 48.1%로 올랐습니다. 저자들이 확인한 변화는 새로운 수학 지식을 넣은 결과라기보다 기존 풀이를 가로막던 반복 동작을 줄인 사례입니다.

일반적인 신경망 학습은 기울기를 계산해 가중치를 갱신합니다. 이 실험에서 Astra는 자연어로 받은 목표를 바탕으로 가중치 자체를 살펴보고 수정했습니다. 소규모 실험에서는 가중치를 텍스트 프롬프트로 제공했지만, Qwen 실험에서는 가중치를 불러온 Python 세션을 사용했습니다. Astra는 그 세션에서 모델을 실행해 출력을 살펴봤으며 학습이나 기울기 정보는 허용되지 않았습니다.

저자들은 먼저 작은 네트워크의 가중치가 학습한 동작을 드러내는지 시험했습니다. 입력과 출력, 구조가 같은 네 가지 게임 정책의 가중치만 보여주고 어떤 게임에서 훈련했는지 물었을 때 Astra는 네 게임을 모두 맞혔습니다. Breakout 정책에서는 첫 층의 가중치가 패들이 움직이는 아래쪽 행에 집중된 점과 출력층이 좌우 이동을 구별하는 점을 단서로 들었습니다. 이런 소규모 실험으로 가중치 배열을 읽는 방식을 보인 뒤, 저자들은 더 큰 언어 모델의 오류를 찾아 수정하는 단계로 넘어갔습니다.

Qwen3.5-0.8B를 대상으로 Astra는 GSM8K와 MATH 훈련 세트에서 프롬프트를 골라 정방향 실행을 했습니다. 저자들은 한 번의 실행에 평균 64개 시퀀스를 넣고 최대 512토큰 길이를 적용했으며, 실행 예산을 10회, 25회, 50회로 나눴습니다. Astra는 각 실행 사이에 가중치를 바꾸고 출력이 어떻게 달라지는지 살폈습니다. 따라서 이 실험은 가중치만 한 번 고쳐 점수를 확인한 시험이 아니라, 출력 관찰과 수정이 이어지는 절차였습니다.

Astra가 찾은 문제는 Qwen이 수학 풀이 중 같은 내용을 반복해 답을 끝내지 못하는 현상이었습니다. 저자들은 반복과 관련된 방향이 MLP 15층과 19층의 출력에 기록돼 있다고 설명합니다. Astra는 두 층에서 각각 64개 출력 열의 해당 방향을 빼 총 131,072개 가중치를 수정했습니다. Qwen의 전체 가중치 약 8억 개 가운데 0.016%에 해당합니다.

50회 정방향 실행을 허용한 편집 모델은 같은 샘플링 설정으로 평가했을 때 MATH-500 점수가 7.9%에서 48.1%로 올랐습니다. MATH-500 답변이 32,768토큰 상한에 닿은 비율은 93.0%에서 33.1%로 떨어졌습니다. 10회와 25회 예산에서는 이 비율이 각각 87.2%, 86.4%로 남아 반복이 거의 줄지 않았습니다. 저자들은 다른 수학 평가인 GSM8K 점수도 13.8%에서 67.1%로, 지시 따르기를 측정하는 IFEval 점수는 21.0%에서 62.3%로 올랐다고 보고했습니다. 반복 동작이 수학 문제에만 한정된 장애물이 아니어서 다른 평가에도 변화가 나타났다는 설명입니다.

이번 편집은 모델에 수학을 새로 가르치기보다 반복을 줄여 Qwen이 이미 가진 풀이를 끝까지 내놓도록 도왔습니다. 이를 살펴보기 위해 저자들은 반복이 드문 Gemma 3 270M에도 가중치 편집을 시도했습니다. Gemma에서는 산술 오류와 잘못된 대수 전개가 여러 곳에 흩어져 있었고, 반복을 일으키는 단일 방향을 찾지 못했습니다. MATH-500 점수는 기준 6.8%에서 편집 뒤 최고 7.7%였지만 저자들은 이를 확립된 개선으로 보지 않았습니다. 이 별도 실험은 모델 카드의 샘플링 설정을 사용했고 문항마다 네 번 답을 생성해 평균을 냈습니다.

저자들은 실험 로그 전체와 편집한 Qwen 모델을 공개했습니다. 블로그는 이번 결과를 초기 단계로 소개하고 문맥 길이와 실행 하네스의 비효율을 한계로 들었습니다. 이번 실험은 이미 있는 능력을 가로막는 국소 오류를 찾아 고친 사례입니다.

자료: Rikiya Takehi 외, Sparks of Weight-Space Programming 블로그 / 정리·해설: Trawling