[딥러닝] Underfitting이 발생한다면?

 

딥러닝 학습 시 DNN 모델의 Training Loss 결과가 기대성능보다 높고, Validation Loss 역시 높을 경우,

Underfitting이 발생한다고 할 수 있다.

 

 

DNN 모델의 Learning Curve

 

이러한 경우 어떻게 아키텍처를 수정하는 게 좋을까?

중요 포인트는 네트워크의 Capacity를 올리는 것! 이다

 

1. FNN(Feedforward Neural Network)을 사용한 경우,
   (1) Epoch 수를 늘린다
   (2) DropOut 적용 확률을 줄인다
   (3) 레이어 당 노드 수를 늘린다
   
   
2. CNN(Convolutional Neural Network)을 사용한 경우
   (1) Convolution 커널 수를 늘린다
   (2) Convolution 레이어 수를 늘린다
   (3) L2-Regularization term λ를 줄인다