Simon Willison의 노트북 시험, Qwen 3.8 27B가 게임망 4종 중 3종 식별
Simon Willison은 11월 3일 노트북에서 Qwen 3.8 27B로 네 게임용 소형 신경망의 가중치 판독 프롬프트를 시험했습니다. Qwen은 Pac-Man, Pong, Breakout을 맞혔지만 Freeway는 Pac-Man 유사 게임으로 잘못 판단했습니다. 도구 없이 한 차례씩 답한 개인 실험으로, 앞서 소개된 가중치 수정 실험과는 다른 결과입니다.
본문
Simon Willison은 2026년 11월 3일 자신의 기술 블로그에 노트북에서 Qwen 3.8 27B를 시험한 결과를 공개했습니다. 입력한 것은 전날 공개된 연구자 글의 게임망 가중치 판독 프롬프트입니다. 연구자 Rikiya Takehi, Jayden Teoh, Alex Zhang, Omar Khattab은 MIT CSAIL 소속으로, 언어 모델이 신경망 가중치를 자연어로 읽고 수정하는 초기 실험을 소개했습니다.
Willison이 시험한 부분은 가중치를 읽는 실험입니다. 각 프롬프트에는 게임에서 다음 행동을 고르는 작은 정책망의 가중치가 숫자 텍스트로 들어 있고, 어느 게임을 학습했는지 답하라는 질문이 붙습니다. 원 연구자들은 네 정책망에 같은 입력 채널과 행동 선택지, 네트워크 크기를 사용했습니다. 네트워크 크기와 입출력 종류가 네 문제에서 같으므로 게임별 단서는 가중치 배열에 남은 특징에서 찾도록 구성했습니다. 프롬프트는 코드 실행과 계산기 등 도구 사용을 금지하고 한 번의 응답만 요구합니다.
Willison은 연구 저장소에 공개된 Pac-Man, Pong, Breakout, Freeway 프롬프트를 Qwen에 차례로 넣었습니다. Qwen은 앞의 세 게임을 맞혔지만 Freeway를 4방향으로 움직이는 Pac-Man 유사 게임이라고 답했습니다. Qwen은 자기 가중치가 아닌 별도로 학습된 네 게임 정책망의 가중치를 읽었습니다. 모델은 배열의 수치 패턴을 바탕으로 정책망이 어떤 게임에서 동작하도록 학습했는지 추론해 게임 이름을 출력했습니다.
추론은 LM Studio에서 로컬로 실행했습니다. Willison은 기본 8,192 토큰 컨텍스트 설정에서 오류가 나 더 긴 컨텍스트를 지정했다고 적었습니다. 그가 기록한 답변 시간은 Pac-Man 46분 12초, Pong 1시간 4분 54초, Breakout 52분 25초입니다. 네 프롬프트에 한 번씩 답한 결과이며, 반복 표본을 이용한 정확도 평가는 포함하지 않았습니다.
전날 연구 글에는 GPT-6 Astra가 Python 실행 환경에서 Qwen3.5-0.8B의 가중치를 수정해 수학 풀이의 반복을 줄인 실험도 담겼습니다. Willison의 시험은 가중치 수정 없이 작은 정책망의 동작을 읽어 게임을 분류하는 작업입니다. 이번 기록이 보여주는 범위는 Qwen 3.8 27B가 공개된 네 프롬프트 가운데 세 가지에 답했다는 점입니다.
자료: Simon Willison’s Weblog / 정리·해설: Trawling