목록dataset (1)

다시 이음

Pytorch Dataset / Dataloader

안녕하세요. 오늘은 Pytorch에서 데이터를 전처리하고 배치화 하는 클래스를 제공합니다. Dataset 클래스는 데이터를 전처리하고 dictionary 또는 list 타입으로 변경할 수 있습니다. DataLoader 클래스는 데이터 1. 셔플 2. 배치화 3. 멀티 프로세스 기능을 제공합니다. Dataset 모든 custom dataset 클래스는 Dataset() 클래스를 상속받아야 함. __getitem__()와 __len__() 메소드를 반드시 오버라이딩해야 함. DataLoader 클래스가 배치를 만들 때 Dataset 인스턴스의 __getitem__() 메소드를 사용해 데이터에 접근함 해당 Dataset 클래스는 string sequence 데이터를 tokenize & tensorize한다. ..
Pre_Onboarding by Wanted(자연어 처리) 2022. 3. 2. 18:52
이전 Prev 1 Next 다음