목록Contextual (1)

다시 이음

임베딩(3) - Contextual Embedding

안녕하세요. 오늘은 Embedding 시리즈의 3번째 문맥 임베딩에 대해서 알아보도록 하겠습니다. Contextual embedding model Contextual Embedding은 단어를 저차원 (일반적으로 100~500 차원) 공간에서 표현하는 기법입니다. 단, 기존의 전통적 Word Embedding과는 달리, 같은 단어더라도 문맥에 따라 그 표현방법이 바뀔 수 있는 개념의 Embedding입니다. 전통적인 Pre-trained Word Representation(Word2vec)은 한 단어가 가지고 있는 여러가지의 의미를 표현할 수 없었습니다. Contextualized Word Embedding은 같은 단어라도 문맥에 따라 다른 vector를 만들어 냅니다. 대표적으로 ELMo, Bert, ..
Pre_Onboarding by Wanted(자연어 처리) 2022. 3. 11. 17:54
이전 Prev 1 Next 다음