[Paper Review] 📌Attention Is All You Need (aka. Transformer)

드디어 나오셨습니다. Transformer! 🥁 두둥탁!

https://arxiv.org/abs/1706.03762

Attention Is All You Need

 

 

 

"Attention Is All You Need" 논문이 나오게 된 계기는 기존 RNN(Recurrent Neural Network) 과 CNN(Convolutional Neural Network) 기반 모델들이 가진 한계를 극복하기 위해서 입니다!

 

RNN과 LSTM의 한계

1. Sequential Processing
   • RNN이나 LSTM은 입력을 순차적으로 처리하기 때문에 병렬화가 어렵고, 속도가 느림
   • 긴 문장에서 장기 의존성(long-range dependency) 을 학습하는 데 어려움
2. Vanishing Gradient 문제
   • LSTM이나 GRU 같은 개선된 구조가 있긴 하지만, 여전히 긴 시퀀스에서는 기울기 소실(vanishing gradient) 문제가 발생할 수 있음
3. CNN의 한계
   • CNN은 시퀀스 데이터를 처리할 때 지역적 패턴에는 강하지만, 글로벌 의존성(global dependency) 을 학습하는 데 약함

 

"Attention Is All You Need"의 핵심 동기

1. 병렬화 가능
   • Attention 메커니즘은 모든 입력을 동시에 처리할 수 있어서 병렬 연산이 가능함
     => Dot-Product Attention
   • 덕분에 기존 RNN 기반 모델보다 학습 속도가 훨씬 빠름
2. 더 깊은 컨텍스트 학습
   • Attention은 입력 시퀀스의 모든 위치를 동시에 고려할 수 있어서 장기 의존성을 더 잘 학습
     => Positioning Encoding
3. Self-Attention의 단순함과 확장성
   • RNN처럼 복잡한 순환 구조를 없애고, Self-Attention만으로 더 단순한 구조의 모델을 만듬
   • 이후 Transformer 구조가 NLP뿐만 아니라 음성 인식, 컴퓨터 비전 등 여러 분야로 확장됨

 

"Attention Is All You Need"의 Contribution

1. RNN/CNN 완전 제거
   • 이전의 대부분의 모델은 Attention을 보조 기법으로 사용했지만, Transformer는 오직 Attention만 사용
2. Self-Attention + Positional Encoding
   • 위치 정보를 학습하기 위해 Positional Encoding을 추가하고, Self-Attention을 사용해 모든 토큰 간의 관계를 학습
3. 병렬 연산으로 학습 속도 대폭 향상
   • 단일 GPU로도 훨씬 더 빠르게 대규모 데이터를 처리할 수 있게 됨

 

Transformer 아키텍처: 전체 구조

Transformer는 크게 두 개의 스택(stack)으로 이루어져 있습니다.

1. Encoder Stack (6개 Layer로 구성)
   • 입력 시퀀스를 Self-Attention과 Feed-Forward Network를 통해 인코딩해 고차원 표현으로 변환.
   • Self-Attention 과 Feed-forward Network 는 sub layers 를 구성. 이 두개의 층이 한개의 layer를 구성.
   • output으로 dmodel = 512  차원이 나온다. (균형을 맞춰서 이정도로 output이 나오도록 설정)
2. Decoder Stack (6개 Layer로 구성)
   • Encoder의 출력을 바탕으로 Self-Attention, Encoder-Decoder Attention, Feed-Forward Network를 사용해 출력 시퀀스를 생성.
     • Self-Attention 과 Feed-forward Network 는 sub layers 를 구성. 이 두개의 층이 한개의 layer를 구성.

 

Transformer - model architecture

 

 

Encoder 구성 요소

1. Input Representation 
   • 입력 데이터(문장)를 임베딩(Embedding) 으로 변환하고, Positional Encoding을 추가해 위치 정보를 반영
   • Positional Encoding 은 sin 과 cos 함수를 사용해 각 위치에 고유한 값을 부여 
     • pos: 단어가 몇번째 단어인지 
     • i: 현재 몇 번째 차원을 계산 중인지 나타내는 인덱스
     • dmodel: 전체 임베딩 벡터의 크기 (몇 차원으로 표현할지 결정)
     • 짝수 차원은 sin 값 사용, 홀수 차원은 cos 값 사용
2. Self Attention Mechanism (Encoder/Decoder 공통) 
   • 입력 시퀀스의 모든 토큰이 다른 모든 토큰과의 유사도를 계산해 서로 의존성을 학습

     

     • Q, K, V 행렬은 다음과 같이 생성 (3. Multi-Head Attetion 세션에서 좀 더 자세히 계산방법 서술)
       • 입력 데이터(임베딩+포지 셔널 인코딩) 행렬을 똑같이 3개로 복사
       • Q 행렬을 구하기 위해 임의의 정사각 행렬(dmodel x dk 크기의)을 곱해준다.
       • K와 V 또한 임의의 정사각 행렬을 각각 곱해준다. (임의의 정사각행렬은 Q, K, V 모두 다름)
     • Self-Attention의 핵심은 Query(Q), Key(K), Value(V) 행렬을 위와 같이 생성하고, 가중합(weighted sum)을 계산

       

     • 인코딩 부분에서는 Mask 부분은 Skip 한다.
     • attention 결과를 softmax 처리한다.
3. Multi-Head Attention
   • Self-Attention 을 병렬적으로 여러 번(Head) 수행한 후 결과를 합침.
     • 모델의 전체 차원 dmodel = 512
     • head 의 개수 h = 8 (논문에서 설정)
     • 각 Query, Key, Value 행렬은 dmodel/h = 64 차원으로 분할
       즉, 하나의 head 는 64 차원의 벡터로 연산을 수행
   • 이를 통해 다양한 관점에서의 관계를 학습할 수 있음
     

     

     

     Q, K, V 행렬의 생성 방식
   • Multi-Head Attention에서는 입력 X에 대해 각 head마다 다른 선형 변환이 적용
   • 각 head별로 Query, Key, Value는 다음과 같이 생성
     

     

   • 8 개의 head 가 각각 독립적인 Q, K, V 를 생성하고 병렬적으로 attention 계산을 수행
   • 최종적으로 선형 변환을 통해 모델의 출력 dmodel = 512 로 복원된다
     • MultiHead(Q,K,V) = Concat(head1​,...,head8​)WO
     • WO: 최종 선형 변환을 위한 가중치 행렬 ((8 x dv) x dmodel) (512 x 512)
     • WO 를 곱해주는 이유는 Concat 된 head 의 출력은 단순히 값이 나열된 상태일 뿐, 이를 하나의 통합된 표현으로 변환해줘야하기 때문.

   • 

4. Feed-Forward Network(FNN)
   • Attention의 출력이 각 토큰마다 독립적으로 FNN 을 통해 비선형 변환이 이루어짐
     • 비선형 변환은 ReLU 로 인한 것임.

       

   • 두개의 Fully-connected Layer로 구성되어 있음
   • [입력벡터] ----> Linear  ----> [중간벡터] ----> ReLU ----> [중간벡터] ----> Linear ----> [만들어진 벡터]
   • 첫번째 Linear Layer: 입력 dmodel=512 -> 내부 차원 dff = 2048 로 확장
   • 두번째 Linear Layer: dff=2048 -> 다시 dmodel=512 로 축소
   • 왜 dff=2048로 확장할까?
     • 2048 차원으로 확장하면서 입력 데이터를 더 고차원 공간으로 변환 (비선형 표현력 강화)
5. Residual Connection & Layer Normalization
   • 각 Self-Attention 과 Feed-Forward Layer 에는 Residual Connection 과 Layer Normalization 이 적용됨
   • 이는 기울기 소실 문제를 완화하고, 더 깊은 학습을 가능하게 함

Layer Nomalization 은 데이터의 채널을 nomalize

 

 

 

Decoding 구성 요소

Transformer 의 Decoder 는 6개의 동일한 layer 로 이루어져 있습니다. 각 레이어는 세가지 서브 블록으로 구성됩니다.

 

1. Masked Multi-Head Self-Attention
   • 자기 자신(이전 출력 토큰들)과의 관계를 계산
   • 미래의 토큰을 마스킹 하여 현재 시점까지의 정보만 이용
     • Decoder 가 이미 생성된 이전 토큰들만 참고하도록... 미래 정보를 마스킹함
   • 마스크 행렬(mask matrix) 를 이용해서 softmax 결과를 0으로 만들어 미래 정보를 무시함
   • 만약 Decoder 가 '"The cat" 까지 생성한 상태라면 그 다음 단어 "sat" 을 예측할때는 "the", "cat" 정보만 참고 
2. Multi-Head Cross-Attetion  (Encoder-Decoder Attention)
   • Encoder의 출력(입력 시퀀스의 인코딩 표현, Key, Value)과 현재 Decoder 입력(Query)의 관계를 학습하여 입력-출력 간의 의존성을 모델링 (Cross Attention)
     

     

      
     • Q 는 Decoder 의 것이고, K와 V 는 Encoder 의 것
     • 입력 시퀀스의 중요한 정보를 강조해 출력 시퀀스 예측 도움을 줌
3. Position-wise Feed-Forward Network(FNN)
   • 각 토큰별로 비선형 변환을 수행해 더 복잡한 관계를 학습
   • Encoder 의 FNN 과 동일하게 ReLU 로 비선형성 적용

 

 

 

😲 데이터 흐름 (한눈에 요약!)

Encoding 단계:

1. 입력 시퀀스 → 임베딩 + Positional Encoding (각각의 벡터를 더해주면 끝)
2. Self-Attention → Feed-Forward Network
3. 6개 Encoder Layer를 통과해 최종 인코딩 표현 생성

Decoding 단계:

1. 이전 출력 시퀀스 → 임베딩 + Positional Encoding
2. Self-Attention (Decoder에서 마스킹 적용)
3. Encoder-Decoder Attention (Encoder의 인코딩 표현과의 관계 학습)
4. Feed-Forward Network
5. 6개 Decoder Layer를 통과해 최종 출력 생성

 

 

결론

 

• Self-Attention은 계산 효율성, 병렬화 가능성, 장기 의존성 학습에서 기존 RNN과 CNN보다 뛰어납니다.
• RNN은 느리고 순차적, CNN은 병렬화는 되지만 장기 의존성 학습에 한계가 있습니다.
• Self-Attention은 모델 해석 가능성도 높아, 더 직관적인 결과를 얻을 수 있습니다.