목록Roberta (1)

다시 이음

NLP model - GPT, ALBERT, RoBERTa

안녕하세요. 오늘은 NLP 모델에서 Transformer와 BERT 모델을 기반으로 하는 모델을 알아보려고 합니다. Auto regressive 오리지날 트랜스포머 모델의 decoder를 사용하며, 이전 모든 토큰들을에 대해 다음 토큰을 예측하는 방식으로 대해 사전 학습 됩니다. 간단히 설명하면 input값으로 이전 단어를 model에 넣어 나온 output값을 사용함으로 계속하여 다음 단어를 예측합니다. 1. GPT ( Generative Pre-trained Transformer ) - unsupervised pre-training + supervised Fine-tuning을 사용합니다. - Transformer Decoder로만 구성되었습니다. - BERT와 다르게 attention이 bidire..
Pre_Onboarding by Wanted(자연어 처리) 2022. 3. 11. 18:31
이전 Prev 1 Next 다음