[참고자료] Visualization of Self-Attention Maps

 

 

자연어 처리를 위해 만들어진 Transformer 가 최근 Vision 분야에 적용되기 시작했는데, 

아래 사이트에서 CIFAR-10 이미지 분류에 적용된 Vision Transformer 의 Self-Attention 패턴을 시각화해서 보여주고 있다.

 

epfml.github.io/attention-cnn/

Visualization of Self-Attention Maps