다시 이음

NLU sub task - Machine Reading Comprehension(기계 독해) 문제 정의 - 대용량 문서를 대상으로 필요한 정보를 빠르고 정확하게 찾는 기술로 사람이 대용량 문서를 확인할 때 생기는 시간비용과 정확도를 개선하기 위해서 발전되고 있습니다. 기계독해를 base로 질문에 답할 수 있는 QA 기술이 발전함으로써 챗봇, 대화형 인공지능 개발이 가능해지고 있습니다. 기계 독해 추론 원리 및 과정 - 원리 : 주어진 본문에서 답이 시작할 점수 + 끝날 점수 맞추기 - 과정 : 원문, 질문 → Vocab 적용 → 숫자열로 변환 → 모델 추론 → 위치 선택 → 답변 기계 독해 응용 : OCR (문자인식) 후 MRC (기계독해), 영화 주인공의 프로파일 예측, 대화 플랫폼 데이터셋 소개 : ..

Week1-2 NLU 개론 목표 : 해결할 문제가 어떤 task인지 구별, 벤치마크 데이터 셋 및 모델을 알기 1. NLU란? Main task : 언어의 이해 Syntactic == 문법적 구분 Semantic == 문장의 의미 구분 - 감정분석, 유사도, 맥락파악, QnA, 추론 등등 2. GLUE & SQuAD "가장 공신력 있는 NLU 대회(벤치마크)" GLUE 백서 내에 표기 되어 있는 사용 데이터셋에 따른 Task와 평가지표, 도메인을 확인 할 수 있습니다. CoLA - 문법 SST - 감성 분석(문장의 의미 분석) STS - 문장 유사도 MRPC,QQP - 맥락 이해 MNLI - 자연어 추론 SQuAD - 기계 독해 ( 글을 통해 질문에 대한 대답을 하는 QA task ) 아래 표는 위에서 ..

안녕하세요. 오늘은 자연어 처리에 대해서 알아보겠습니다. 자연어(Natural Language) 자연어란? 자연적으로 발생된 언어를 자연어라고 하는데 이 자연어를 컴퓨터를 통해 처리하는 것을 자연어 처리라고 합니다. 자연어 처리를 통해서 할 수 있는 것 자연어 이해(NLU, Natural Language Understanding) -감정 분석(긍정적?부정적?), 자연어 추론(NLI, Natural Langauge Inference), 기계독해(MRC, Machine Reading Comprehension),질의 응답(QA),품사 태깅(POS tagging), 개체명 인식(Named Entity Recognition) 자연어 생성(NLG, Natural Language Generation) 기타(NLU&N..