다시 이음

안녕하세요. 올초 1월에 기업 과제 프로젝트로 진행하였던 문서 요약 프로젝트에서 완성하지 못했던 matchsum 모델을 다시 구현해보기 위한 여정을 해보려고 합니다. 기존 프로젝트는 라벨링이 되어 있지 않아 TEXTRANK 모델로 라벨링을 하고 koBERTSum 모델 - MatchSum 모델을 모두 거쳐 보다 사람이 읽었을 때 자연스러운 요약문을 추출하는 방식이었습니다. 이전에는 koBERTSum까지는 완성했었으나 MatchSum의 경우 한국어 모델에 대한 정보가 없어서 영어 모델을 한국어 모델로 변환하는 무리한 과정을 거쳤었는데 그 뒤 계속 고쳐보려고 했으나 Cuda error가 발생하는 것이 아무래도 변환 부분에서 문제가 있었다고 판단하여 이번에는 직접 논문을 상세하게 파악해보고 구현해보는 프로젝트를..

안녕하세요. 오늘은 자연어 처리에 대해서 알아보겠습니다. 자연어(Natural Language) 자연어란? 자연적으로 발생된 언어를 자연어라고 하는데 이 자연어를 컴퓨터를 통해 처리하는 것을 자연어 처리라고 합니다. 자연어 처리를 통해서 할 수 있는 것 자연어 이해(NLU, Natural Language Understanding) -감정 분석(긍정적?부정적?), 자연어 추론(NLI, Natural Langauge Inference), 기계독해(MRC, Machine Reading Comprehension),질의 응답(QA),품사 태깅(POS tagging), 개체명 인식(Named Entity Recognition) 자연어 생성(NLG, Natural Language Generation) 기타(NLU&N..