목록임베딩활용 (1)

다시 이음

BERT 모델 임베딩 이해하기

안녕하세요. 오늘은 BERT모델의 구조, 임베딩 개념에 대해서 이해하기 위해서 여러방법으로 임베딩을 설정하는 방법을 설명하려고 합니다. BERT를 활용하는 데 집중할 것이기 때문에 먼저 간단한 이론에서 임베딩 활용 순서대로 보려고합니다.(BERT에 대한 특징 NSP, MLM 같은 내용은 논문을 정리한 내용을 통해 공부를 하면 좋습니다.) BERT 기본적으로 1개의 input_embedding과 12개의 히든레이어(인코더)를 가지고 있는 구조입니다. 위에서 보이듯이 BERT의 임베딩은 단어 임베딩, 문장 임베딩이 가능합니다. 여기서 BERT의 활용을 보기 위해서 빠르게 사전학습된 데이터를 불러옵니다. BERT는 pre_trained 모델이기 때문에 저희는 BertTokenizer, BertModel을 불러..
Pre_Onboarding by Wanted(자연어 처리) 2022. 3. 1. 18:26
이전 Prev 1 Next 다음