목록weight decay (1)

다시 이음

딥러닝(3) - Regularization, Learning rate Decay, Scheduling

안녕하세요. 오늘은 딥러닝의 overfitting(과적합)을 방지할 수 있는 방법에 대해서 알아보겠습니다. Regularization 머신러닝에서 과적합이 생긴 것과 같이 딥러닝에서도 과적합이 발생합니다. 더욱이 신경망 알고리즘에서는 복잡한 구조덕에 훈련데이터에 쉽게 과적합 되는 경향이 있습니다. 이러한 과적합을 방지하는 방법 4가지를 알아볼게요. 1. 조기 종료 (Early Stopping) 조기 종료는 머신러닝의 과적합을 방지하는 방법으로도 소개한 적이 있습니다. 머신러닝과 비슷한 맥락으로 훈련데이터에 대한 손실이 계속 줄어들지만 검증데이터의 손실은 증가한다면 학습을 종료하게 하는 것입니다. # 변수 설정을 따로 하는 방법을 적용하기 위한 코드입니다. batch_size = 10 epochs_max ..
AI 일별 공부 정리 2021. 10. 21. 01:51
이전 Prev 1 Next 다음