[머신러닝 기초] Bias vs Variance

🟩 Bias & Variance 정의

◼ Bias : 모델의 복잡도에 따라 발생하는 모델의 error

◼ Variance : 학습 데이터의 변경에 따라 발생하는 모델의 error간 편차

◼ Low Bias : 중심주변에 위치, Low Variance : 중심과 상관없이 비슷한 값을 냄

<Bias & variance 설명>

🟩 Bias & Variance Trade off

◼ Total Error = Bias + Variance

◼ Bias값이 커지면 Variance가 작아지고, Bias값이 작으면 Variance가 커진다.

◼ 이 관계를 인지하고 Test Error를 최소화하는 모델 복잡도를 찾아야 함

◼ 성능이 우수한 모델은 Signal(Unseen data 예측에 필요)에 민감하고 Noise에 둔감한 모델

◼ Overfitting Model : Bias↓, Variance↑ 

   Underfitting Model : Bias↑, Variance↓ (의사결정나무의 가지치기, 딥러닝 모델 Dropout)

 

<Bias-Variance Trade off>

◼번외)

  - Overfitting 해결방법 : 변수 감소, 변수 Weight에 대한 regularization항 추가, 학습 데이터 증가

  - Unerfitting 해결방법 : 변수 추가, 변수 차원 증가