MiMi's Self-development Blog

보호되어 있는 글입니다.

보호되어 있는 글입니다.

이미지 데이터나 자연어 데이터 및 정형 데이터로 예측 또는 분류 문제를 해결하고자 할 때, 머신러닝과 딥러닝을 동시에 적용하여 성능이 좋은 모델을 선정하기 마련이다. 딥러닝이 좀 더 복잡한 모델이라, 무조건 성능이 잘 나올거 같지만, 그렇지 않은 경우가 많다. 과연 머신러닝 보다 딥러닝이 성능이 좋을 때는 언제일까? 당연한 답변일 수 있지만... (1) 분석하고자 하는 데이터나 학습 데이터가 고차원 데이터(high dimensional data)인 경우 (2) 고차원 데이터를 잘 표현하기 위해서 고차원 Feature가 필요한 경우 에 딥러닝이 훨씬 성능이 좋다. 딥러닝 모델은 hidden layer를 거칠 수록 고차원 데이터의 잠재적 Feature를 잘 포착할 수 있고, 이를 통해 고도로 추상화된 표현(..

딥러닝 학습 시 DNN 모델의 Training Loss 결과가 기대성능보다 높고, Validation Loss 역시 높을 경우, Underfitting이 발생한다고 할 수 있다. 이러한 경우 어떻게 아키텍처를 수정하는 게 좋을까? 중요 포인트는 네트워크의 Capacity를 올리는 것! 이다 FNN(Feedforward Neural Network)을 사용한 경우, (1) Epoch 수를 늘린다 (2) DropOut 적용 확률을 줄인다 (3) 레이어 당 노드 수를 늘린다 CNN(Convolutional Neural Network)을 사용한 경우 (1) Convolution 커널 수를 늘린다 (2) Convolution 레이어 수를 늘린다 (3) L2-Regularization term λ를 줄인다

** 데이터 분석 시 활용할 만한 데이터셋 모음 ** 데이터 분석 연습을 위한 공모전 데이터와 실전 분석에서 Feature로 활용할 수 있는 공개 데이터에 대한 사이트 목록입니다. [공모전 데이터] 이름 링크 설명 Kaggle https://www.kaggle.com/ 전세계 다양한 분야의 데이터셋 (2017 구글이 인수) DACON https://dacon.io/ 공공분야 및 한국 기업의 시각화 / 예측 / AI 경진대회 데이터셋 COMPAS https://compas.lh.or.kr/ 시도별 도시문제 해결을 위한 데이터셋 [각 분야 공개 데이터] 구분 이름 링크 설명 전체 공공데이터 포털 https://www.data.go.kr/ 공공행정, 과학기술, 교통물류, 국토관리, 농축수산, 문화관광, 사회복..