Attention Is Not What You Need (2025)
어텐션은 당신이 필요로 하는 것이 아니다 (2025)
논문은 self-attention 대신 Grassmann manifold의 저차원 부분공간에서 토큰 쌍을 처리하는 인과적 구조를 제안합니다. Wikitext-2에서는 비슷한 크기의 Transformer보다 검증 perplexity가 10~15% 높았고, DistilBERT의 SNLI 분류에서는 Transformer head를 소폭 앞섰습니다.
- 주제
에디터 노트
가장 큰 쟁점은 성능 비교보다 인과성입니다. 댓글 한 명은 미래 위치 z_(t+Δ)가 현재 상태 계산에 들어간다고 지적했고, 답글은 논문에 코드 링크가 없어 확인하기 어렵다면서 재현 구현 두 곳이 과거 토큰을 사용했다고 전합니다. 이 지적과 재현 사례만으로 논문 구현의 오류를 확정할 수는 없지만, 언어 모델링 결과를 해석하기 전에 입력 방향과 마스크를 확인해야 하는 이유는 분명합니다. 성능 수치도 적용 범위를 좁혀 읽어야 합니다. Wikitext-2의 작은 모델에서는 Transformer보다 perplexity가 높았고, SNLI에서는 분류 head의 정확도가 근소하게 높았습니다. 이 결과는 제안 구조의 가능성을 제한된 설정에서 보여주지만, 대규모 언어 모델에서 attention을 대체한다는 근거까지 제공하지는 않습니다. 댓글에서 제기된 실험 규모와 재현성 문제도 이 범위와 맞닿아 있습니다.
AI 요약
Self-attention이 강한 시퀀스 모델에 꼭 필요한지 묻는 논문입니다. 저자들은 attention을 토큰 표현을 쌍별 상호작용의 고차원 공간으로 옮기는 연산으로 설명하고, 그 대안으로 Grassmann manifold를 이용한 Causal Grassmann layer를 제안합니다.
Grassmann layer의 계산
레이어는 토큰 상태를 선형으로 축소한 뒤, 국소 토큰 쌍을 Plucker 좌표로 2차원 부분공간에 표현합니다. 여러 크기의 윈도에서 얻은 기하 특징을 게이트 혼합으로 원래 hidden state에 합칩니다. 전체 길이 L에 대한 L×L attention 행렬을 만들지 않으며, 고정 rank에서는 Grassmann 혼합 연산이 시퀀스 길이에 선형으로 증가한다고 논문은 설명합니다.
실험 결과
Wikitext-2 언어 모델링에서 1,300만~1,800만 파라미터의 Grassmann 모델은 비슷한 크기의 Transformer보다 검증 perplexity가 약 10~15% 높았습니다. SNLI 자연어 추론에서는 DistilBERT 위에 Grassmann-Plucker head를 붙인 모델의 검증 정확도가 0.8550, 테스트 정확도가 0.8538이었습니다. Transformer head는 각각 0.8545와 0.8511을 기록했습니다. 저자들은 이 구조가 기하학적이고 불변량에 기반한 해석에 더 구조적인 경로를 제공한다고 주장합니다.
Hacker News 반응
- @oofbey — 1,800만 파라미터 모델과 오래된 데이터셋은 우스울 정도로 작은 장난감 문제에서만 아이디어를 보인 셈입니다. 작은 규모에서는 나쁜 아이디어도 작동할 수 있습니다. Transformer의 가장 중요한 점은 임의로 큰 모델을 쉽게 학습할 수 있게 했다는 것입니다.
- @HexPhantom — "어텐션은 쓸모없다"와 "이 논문은 아무것도 증명하지 못한다" 사이에도 중간 지점이 있다고 생각합니다.
- @mapontosevenths — 논문에 나온 쌍이 (z_t, z_(t+Δ))라면 다음 토큰을 예측할 때 미래 토큰을 쓰는 셈입니다. (z_(t-Δ), z_t)를 써야 합니다. 논문만의 오류인지 코드에도 있는지 모르겠습니다.
- @magicalhippo — 각 위치에서 미래 위치와 쌍을 만든다는 설명은 이해했지만, 게이트를 계산할 때 미래 토큰이 현재 위치의 계산에 들어가는 지적은 맞습니다. 코드 링크가 없어서 논문만으로 확인하기 어렵습니다. 재현 저장소 두 곳은 현재 토큰과 과거 토큰을 짝지었고, 한 곳은 결과가 기대에 못 미쳤으며 다른 곳은 논문 결과와 대체로 비슷했습니다.
- @charcircuit — 규모가 전부입니다. 다만 시간과 연산 자원이 제한된 상황에서는 아키텍처도 중요합니다. 규모를 키우는 데 비용이 들기 때문입니다.
- @janalsncm — Qwen 3.5에서는 레이어의 75%가 linear attention입니다. 보통 linear attention으로 충분하지만 복잡한 장거리 관계를 처리하도록 일부 일반 attention 레이어를 둔다는 설명이 있습니다.
- @drnick1 — arXiv 논문은 동료 심사를 거치지 않으며, 품질이나 정확성과 관계없이 사실상 누구나 올릴 수 있습니다.
- @hasley — 공개 검토에는 찬성하지만 동료 심사의 대체물로 보지는 않습니다. 공개 검토는 논문이 출판된 뒤 시작할 수도 있습니다. 특히 외부 연구자가 좋은 연구 관행을 따르는지 확인하기가 더 어렵습니다.
원문: arXiv / 번역·요약: Trawling