기억의 관점에서 트랜스포머를 유도할 수 있습니다
선형층, MLP, self-attention을 키-값 기억 저장소로 해석하고, 기억을 불러올 때 생기는 간섭을 기준으로 저장 용량을 비교합니다. 키 차원이 64일 때 추정 용량은 단순 선형 저장소의 약 64개에서 제곱 ReLU MLP의 약 2,700개, self-attention의 약 120만 개로 늘어납니다.
선형층, MLP, self-attention을 키-값 기억 저장소로 해석하고, 기억을 불러올 때 생기는 간섭을 기준으로 저장 용량을 비교합니다. 키 차원이 64일 때 추정 용량은 단순 선형 저장소의 약 64개에서 제곱 ReLU MLP의 약 2,700개, self-attention의 약 120만 개로 늘어납니다.