Transformer - Attention is All you need
Attention을 소개하기 앞서 NLP의 발전과정에 대해 설명하겠습니다. 먼저 첫 번째로 RNN은 Neural network에서 recurrent 순환형 구조를 추가한 것, LSTM은 기존 RNN이 역전파가 길어질 시 단점이 생겨 hidden state에 cell-state를 추가하여 발전시킨 것입니다. Seq2Seq2는 RNN을 구조를 사용해서 인코더, 디코더 구조로 변환해서 번역 수행하였습니다. Attention은 모든 입력 시퀀스를 참고. Transformer는 RNN, CNN사용 안하고 Attention만 사용. 그리고 Transformer의 인코더를 활용한게 GPT, Transformer의 디코더를 활용한게 BERT모델입니다. 그만큼 Transformer는 매우 중요합니다. 그리고 여기서 점선..
딥러닝/자연어처리
2021. 4. 8. 11:15
최근댓글