다시 이음

코드 위주보다는 순서를 확인하여 'BERT 모델을 Fine_tuning 하는 과정'에 집중하려고 합니다. Process 1. 데이터 불러오기 2. 데이터 전처리 직접 pandas를 사용하여 전처리 혹은 Pytorch Dataset 클래스 사용 3. CustomClassifier 클래스 구현 ( 가중치 freeze, unfreeze ) 사전 학습(pre-trained)된 BERT 모델을 불러와 그 위에 1 hidden layer와 binary classifier layer를 쌓아 fine-tunning 모델을 생성 hidden layer 1개와 output layer(binary classifier layer)를 갖는 CustomClassifier 클래스를 구현 4. Iterator 구현 학습 데이터를 배..

안녕하세요. 오늘은 딥러닝 학습방법에 역전파 방법에서 Pytorch에서 제공하는 Autograd 기능을 설명하려고 합니다. Pytorch의 기본적인 딥러닝 학습방법을 이해하는 데 좋음으로 읽어보면 좋을 것 같습니다. Autograd 공식문서🔥 먼저 Pytorch의 Autograd 기능에 대해 알아보겠습니다. Autograd는 PyTorch의 자동 미분 엔진입니다. Autograd가 어떤 기능을 하는지에 대해서 설명하기 위해서는 기본적인 딥러닝의 학습방법에 대해 간단하게 정리할 필요가 있습니다. 1. 딥러닝은 신경망으로 이루어져있고, 그 신경망은 가중치(weight)+bias(편향)의 매개변수를 텐서(pytorch.tensor)형태로 가지고 있습니다. 2. 딥러닝의 학습은 2단계로 순전파, 역전파가 있습니..

안녕하세요. 오늘은 Pytorch에서 데이터를 전처리하고 배치화 하는 클래스를 제공합니다. Dataset 클래스는 데이터를 전처리하고 dictionary 또는 list 타입으로 변경할 수 있습니다. DataLoader 클래스는 데이터 1. 셔플 2. 배치화 3. 멀티 프로세스 기능을 제공합니다. Dataset 모든 custom dataset 클래스는 Dataset() 클래스를 상속받아야 함. __getitem__()와 __len__() 메소드를 반드시 오버라이딩해야 함. DataLoader 클래스가 배치를 만들 때 Dataset 인스턴스의 __getitem__() 메소드를 사용해 데이터에 접근함 해당 Dataset 클래스는 string sequence 데이터를 tokenize & tensorize한다. ..

안녕하세요. 오늘은 Pytorch에서 모델을 생성하고 배정하는 방법에 대해서 알아보겠습니다. 모델을 정의하는 방법에서 tensorflow와 다른 점이 보여서 그 점을 비교하면서 하면 좋을 것 같습니다. Pytorch - Module 클래스 Model 을 정의할 때에는 Module 클래스를 무조건 상속 받아야합니다. forward() 메소드는 모든 자식클래스에서 반드시 오버라이딩 해야합니다. 공식문서 // https://pytorch.org/docs/stable/generated/torch.nn.Module.html#torch.nn.Module 공식 문서를 통해 메소드를 보면 좋습니다.(eval(), train(), parameters(), state_dict(), to() 등등) class Model(n..

안녕하세요. 오늘은 BERT모델의 구조, 임베딩 개념에 대해서 이해하기 위해서 여러방법으로 임베딩을 설정하는 방법을 설명하려고 합니다. BERT를 활용하는 데 집중할 것이기 때문에 먼저 간단한 이론에서 임베딩 활용 순서대로 보려고합니다.(BERT에 대한 특징 NSP, MLM 같은 내용은 논문을 정리한 내용을 통해 공부를 하면 좋습니다.) BERT 기본적으로 1개의 input_embedding과 12개의 히든레이어(인코더)를 가지고 있는 구조입니다. 위에서 보이듯이 BERT의 임베딩은 단어 임베딩, 문장 임베딩이 가능합니다. 여기서 BERT의 활용을 보기 위해서 빠르게 사전학습된 데이터를 불러옵니다. BERT는 pre_trained 모델이기 때문에 저희는 BertTokenizer, BertModel을 불러..

안녕하세요. 오늘은 딥러닝 라이브러리인 Pytorch와 TensorFlow 중 어떤 라이브러리를 배우는게 좋을지, 어떤 라이브러리가 자주 사용되고 있는지 트렌드 분석을 통해 인사이트를 얻을 수 있는 블로그 글을 찾아 리뷰하려고 합니다. 본문은 AsemblyAI 블로그(http://www.assemblyai.com/blog/pytorch-vs-tensorflow-in-2022/)의 글을 토대로 정리한 글입니다. 참조한 글에서는 모델 가용성, 배포 인프라, 생태계로 나누어 Pytorch와 TensorFlow를 비교하여 분석하고 있습니다. 1. Pytorch? TensorFlow? 둘다 오픈소스 딥러닝 소프트웨어 라이브러리 입니다. Pytorch가 파이썬에서 직관적으로 해석되는 부분 때문에 현재 많이 사용되는..