Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 토스
- 유데미코리아
- SLASH22
- 유데미부트캠프
- 스타터스
- 유데미큐레이션
- 취업부트캠프 5기
- 그로스해킹
- 딥러닝
- 서비스기획부트캠프
- 부트캠프후기
- SQL
- 임베딩
- NLP
- sql정리
- NLU
- pytorch
- AARRR
- 추천시스템
- 취업부트캠프
- MatchSum
- 사이드프로젝트
- 특성중요도
- 서비스기획
- AWS builders
- BERT
- 스타터스부트캠프
- 그래프
- 알고리즘
- 데이터도서
Archives
- Today
- Total
목록albert (1)
다시 이음
NLP model - GPT, ALBERT, RoBERTa
안녕하세요. 오늘은 NLP 모델에서 Transformer와 BERT 모델을 기반으로 하는 모델을 알아보려고 합니다. Auto regressive 오리지날 트랜스포머 모델의 decoder를 사용하며, 이전 모든 토큰들을에 대해 다음 토큰을 예측하는 방식으로 대해 사전 학습 됩니다. 간단히 설명하면 input값으로 이전 단어를 model에 넣어 나온 output값을 사용함으로 계속하여 다음 단어를 예측합니다. 1. GPT ( Generative Pre-trained Transformer ) - unsupervised pre-training + supervised Fine-tuning을 사용합니다. - Transformer Decoder로만 구성되었습니다. - BERT와 다르게 attention이 bidire..
Pre_Onboarding by Wanted(자연어 처리)
2022. 3. 11. 18:31