어텐션은 당신이 필요로 하는 것이 아니다 (2025)
논문은 self-attention 대신 Grassmann manifold의 저차원 부분공간에서 토큰 쌍을 처리하는 인과적 구조를 제안합니다. Wikitext-2에서는 비슷한 크기의 Transformer보다 검증 perplexity가 10~15% 높았고, DistilBERT의 SNLI 분류에서는 Transformer head를 소폭 앞섰습니다.
최신기사
AI, 개발 도구, 오픈소스, 보안과 인프라의 변화와 이용 조건을 설명하는 최신 기사와 해설입니다.
기억의 관점에서 트랜스포머를 유도할 수 있습니다
선형층, MLP, self-attention을 키-값 기억 저장소로 해석하고, 기억을 불러올 때 생기는 간섭을 기준으로 저장 용량을 비교합니다. 키 차원이 64일 때 추정 용량은 단순 선형 저장소의 약 64개에서 제곱 ReLU MLP의 약 2,700개, self-attention의 약 120만 개로 늘어납니다.
Transformer를 시각적으로 설명하기
GPT-2 small을 브라우저에서 직접 실행하며 Transformer의 토큰화, 임베딩, self-attention, MLP, 다음 토큰 샘플링 과정을 시각적으로 보여줍니다. 124M 파라미터 모델의 계산값과 attention map을 실시간으로 살펴보는 교육용 도구입니다.