목록Transformer기초 (1)

다시 이음

딥러닝(9) - Transformer & BERT, GPT

안녕하세요. 오늘은 Transformer라는 자연어 처리 모델중 어제 알아보았던 Attention 메커니즘의 기능을 최대화 하여 사용하는 모델에 대해서 알아보려고 합니다. Transformer 논문 : https://arxiv.org/abs/1706.03762 : Attention is All you need 라는 논문으로 트랜스포머 관련해서는 가장 유명한 논문이라고 합니다. Transformer 트랜스포머는 RNN의 순차적으로 단어가 입력되는 방식에서 단어가 많아질 수록 연산속도가 느려지는 문제점을 보완하고자 고안되었습니다. 트랜스포머는 단어를 입력받을 때 병렬화를 사용하며 그에 따라 GPU 연산에 최적화 되어있습니다. Transformer 구조 먼저 위의 그림을 설명하자면 왼쪽은 트랜스포머 안에 1개..
AI 일별 공부 정리 2021. 10. 29. 19:06
이전 Prev 1 Next 다음