신경망은 이미 해석 가능한 구조를 갖추고 있습니다

AI 요약

Goodfire의 Nick Cammarata는 신경망의 다의적 뉴런(polysemantic neuron)을 서로 무관한 개념이 한 뉴런에 임의로 포개진 결과로 보는 해석이 과장됐다고 주장합니다. 저자는 이미지 모델과 언어 모델의 뉴런, 회로를 조사하며 기존에 중첩(superposition)의 증거로 꼽힌 사례 상당수가 잘못 읽혔다고 설명합니다. 뉴런을 먼저 분해해 새 표현 공간을 만드는 대신, 모델 내부의 뉴런과 회로를 직접 살피고 가설을 실험으로 확인하는 기계론적 해석(mechanistic interpretability)을 강조합니다.

중첩보다 재귀적 일반화

저자가 제안하는 대안은 재귀적 일반화(recursive generalization)입니다. 뉴런이 하나의 패턴을 학습한 뒤 그와 인접한 특성으로 가지를 뻗듯 확장한다는 설명입니다. 예를 들어 이미지 모델의 한 뉴런이 고양이 얼굴과 자동차 앞부분에 함께 반응한다면, 저자는 둘에 공통된 V자 모양을 감지한다고 해석합니다. 언어 모델에서 'iy'에 반응하던 뉴런이 'diy'와 'do it yourself'에도 반응하는 사례도 듭니다. 처음에는 연관성이 약해 보이는 반응도 학습 과정과 회로를 따라가면 주변 개념으로 확장된 흔적을 찾을 수 있다는 주장입니다.

저자는 대표적 중첩 사례로 알려진 InceptionV1의 자동차와 개 회로도 재해석합니다. 자동차 신호가 개 뉴런에 흩어져 저장된 것이 아니라, 자동차와 개가 공유하는 자세 패턴을 처리했다는 설명입니다. 기존 시각화 도구가 개 이미지를 지나치게 만들어내는 문제도 해석을 흐렸다고 봅니다. 뉴런의 개별 반응만 보는 대신 입력과 연결, 출력에 미치는 효과를 함께 확인해야 한다고 말합니다.

모델 구조와 도구에 따른 차이

InceptionV1의 마지막 층은 과거 연구에서 해석 가능한 뉴런이 거의 없다고 여겨졌습니다. 저자는 같은 규모와 데이터로 학습한 모델에 residual connection, LayerNorm 등 구조 개선을 적용하고 도구도 보완하자 마지막 층 뉴런의 99~100%를 쉽게 해석할 수 있었다고 보고합니다. 원래 구조를 현대적 정규화 방식으로 다시 학습한 경우에는 약 70%, 더 나은 시각화 도구만 적용한 원래 모델에서는 약 50%로 추정합니다. 저자는 이런 차이가 무관한 개념의 포개짐보다 학습 실패와 측정 도구의 한계에서 나왔다고 해석합니다.

모델 크기를 약 300배 달리한 ConvNeXt 실험에서는 작은 모델일수록 뉴런이 더 넓고 거친 개념을 맡았지만, 무관한 특성을 임의로 섞지는 않았다고 설명합니다. InceptionV1의 한 층을 480개 채널에서 10개로 줄여 다시 학습한 실험에서도 뉴런은 '곡선과 고리'처럼 더 넓은 패턴을 맡았습니다. 저자가 학습된 층에 희소 오토인코더(SAE)를 적용했을 때 원래의 곡선 탐지기를 깔끔하게 복원하지 못했다고 보고합니다. 저자의 해석으로는 정보가 뉴런 조합 속에 숨었다기보다 좁은 뉴런이 더 거친 구분으로 바뀐 결과입니다.

언어 모델에서의 추정과 한계

저자는 Qwen3-32B의 예비 조사에서 뉴런 극성(neuron pole)의 약 90%가 주된 역할 하나를 맡고, 약 7%가 서로 관련된 역할 두 개를 맡으며, 약 2~4%는 아직 이해하지 못했다고 추정합니다. 강한 활성만 고려한 작은 표본에서는 임의의 혼합이 아닌 경우가 약 97%였다고 덧붙입니다. 다만 '하나의 역할'을 어디까지로 볼지, 약한 활성이나 뉴런 깊이를 어떻게 처리할지에 따라 수치가 달라진다고 설명합니다. 저자는 이 비율을 정밀한 성능 지표가 아니라 모델의 대략적인 상태를 가리키는 값으로 보라고 말합니다.

저자는 규모가 큰 모델과 더 나은 해석 도구를 활용해 뉴런의 활성 예시뿐 아니라 회로와 학습 중 변화를 함께 조사하자 해석이 누적됐다고 주장합니다. 일부 실험은 수조 매개변수 규모 모델까지 이어졌다고 언급하지만, 언어 모델에 관한 기술 논문은 별도로 공개할 예정이라고 밝혔습니다. 따라서 이 글은 광범위한 실험 보고와 저자의 해석을 제시하지만, 모든 모델과 행동에서 중첩이 사라졌다는 결론이나 정렬 문제의 해결을 입증하지는 않습니다.

Hacker News 반응

• @phyzome — 글을 16,000단어 읽었는데도 '깨끗하다'는 말이 무엇을 뜻하는지 답하지 않습니다. 실제로 무엇에 관한 이야기인가요?
  • @aesthesia — 보통 분석은 거꾸로 진행합니다. 뉴런이나 SAE 특성이 활성화되는 예시를 보고 의미를 추론합니다. 이 방식은 이미 알고 있는 개념을 탐색하는 것보다 어렵습니다. 처음에는 무작위처럼 보이던 활성도 더 깊이 살피면 해석 가능한 무언가가 있다는 점이 이 글의 주장 중 하나입니다.
• @yurimo — 글을 아직 다 읽지는 않았지만 중첩이 완전히 틀렸다고 서둘러 말하지 않겠습니다. SAE나 트랜스코더 같은 새 표현을 먼저 학습해 해석하기보다 모델 안의 뉴런과 회로를 직접 이해하자는 접근으로 읽었습니다. 모델이 계속 학습하고 적응하면 매개변수 수가 그대로여도 뉴런이 정보를 더 많이 담도록 재구성될 수 있습니다.
• @bluejay2387 — 실제로 입증된 범위보다 주장이 앞서간다고 봅니다. 점진적 특성 복잡화와 초기 학습 구조의 영향은 오래전부터 알려졌지만, 그런 현상이 매개변수 과적재와 양립하지 않는 것은 아닙니다. 기계론적 해석이 곧 가능해진다고 말하기 전에 관련 연구를 더 검토해야 합니다.
  • @qt31415926 — 저자는 점진적 특성 복잡화를 새로 주장하는 게 아닙니다. 여러 다의적 뉴런 사례가 서로 무관한 개념을 섞은 결과라고 가정해 잘못 읽혔다는 주장입니다.
• @NaiveEmpiricist — 이 접근은 언어 모델이 대체로 조합 가능한 구조라는 가정에 기대는 듯합니다. 2~4%만 이해하지 못하더라도 그 뉴런들이 창발적 인지의 중심이라면 나머지 96~98%를 이해하는 것보다 더 중요할 수 있습니다.
  • @emp17344 — 언어 모델의 창발성 자체도 거의 입증되지 않았습니다. 이 결과는 아무것도 실제로 창발하지 않는다는 강한 증거처럼 보입니다.
• @QuadmasterXLII — 이 글은 뉴런을 분리하는 방법을 설명하지 않은 채 뉴런을 쉽게 찾아낼 수 있다고 전제합니다. 의미 있는 방향이 거의 직교하도록 배치된다는 기존 중첩 설명과 뉴런 축에 정렬된 의미 방향이 어떻게 함께 성립하는지도 분명하지 않습니다.
  • @aesthesia — 여기서 말하는 뉴런은 비선형 함수 뒤의 MLP 뉴런입니다. 그러므로 구별되는 기저가 분명히 있습니다.

원문: Goodfire / 번역·요약: Trawling