MiMi's Self-development Blog

LSTM(Long Short Term Memories) Gradient vanishing / exploding 문제 완화를위해, 거리가 먼 과거의 정보도 잊어버리지 않도록 수식을 변형하고, 3개의 Gate를 이용해 현 단계의 인풋과 이전 메모리의 비율을 조정합니다. (아래 설명 및 그림은 https://medium.datadriveninvestor.com/lstm-vs-rnn-confusion-cleared-772d43b4206f을 참조) RNN RNN Cell은 이전 단계의 hidden state와 이번 단계의 인풋을 결합하여 다음 유닛으로 전달합니다. LSTM LSTM에서는 Cell state와 Hidden state라는 두 개의 정보 흐름을 가지며 인풋에 따라 정보를 선택하거나 결합하여 다음 유닛으..

RNN(Recurrent Neural Network) 순차적으로 들어오는 Sequential 데이에 적합하며, 매 시점의 데이터를 누적한 정보를 이용해 모델링하게 됩니다. 먼저, RNN을 사용할 수 있는 데이터 예시를 살펴보겠습니다. 아래 표를 보면 어제 주가, 어제 KOSPI, 뉴스 언급량을 사용해 오늘의 주가를 예측하고자 합니다. 이 때 RNN을 사용할 수 있습니다. ⬛ RNN의 구조 현 시점 t의 정보(hidden)는 현 시점 t의 input(Wxh xt)과 이전 시점 t-1의 정보(hidden state, ht-1)을 결합한 것으로, 다음 단계의 hidden(ht)으로 넘겨주고 현재 단계의 아웃풋(yt)을 생성하게 됩니다. 임의 길이의 연속적인(sequential) 입력 데이터를 처리할 수 있고 ..

언어를 기계가 인식할 수 있도록 형태로 바꾸려면 어떻게 해야 할까요? 인공신경망으로 분석할 데이터는 실수로 이루어진 벡터나 매트릭스 등 다차원의 실수 데이터, 즉 텐서(Tensor) 타입이어야 합니다. 언어의 경우도 텐서로 바꾸어 인식시킬 수 있습니다. 일반적으로 NLU는 Step1) 토크나이징 : 자연어 인풋을 분석의 단위 (어절/형태소/음절 등)으로 쪼개는 과정 Step2) 인코딩 : 토큰을 단어 사전을 이용해 One-hot-Encoding으로 바꾸는 과정 Step3) 토큰 임베딩 : One-hot-Encoding 벡터를 의미 있는 실수 벡터로 변환하는 과정 Step4) 모델 : 변환된 벡터를 이용해 수행하는 목적에 따라 딥러닝 모델을 통해 결과를 내는 과정 (감성분석 예시) "가게 건물은 별론데 맛..

추천시스템 한계 1. Scalability - 실제 서비스 상황은 다양한 종류의 데이터가 필요 - 학습 또는 분석에 사용한 데이터와는 전혀 다른 실전 데이터가 필요 2. Proactive Recommender System - 특별한 요청이 없어도 사전에 먼저 제공하는 추천서비스 - 모바일, 인터넷 등 어디서든 유저에게 끊임없이 좋은 정보를 추천할 수 있는 서비스 3. Cold-Start Problem - 추천서비스를 위한 데이터 부족 - 기본적인 성능을 보장하는 협업필터링 모델 구축이 쉽지 않은 것이 일반적 - 컨텐츠 기반 또는 지식 기반의 역시 서비스로 적용하기 어려움 4. Privacy preserving Recommender System - 개인정보 등 유저 정보가 가장 중요하지만, 직접적으로 사용..

성능이 좋다고 해서 꼭 좋은 추천을 하는 것은 아니지만, 추천 시스템의 정합성을 알 수 있는 대표적인 평가지표에 대해서 알아보고자 합니다. 평점 예측에 사용되는 평가지표 ⬛ RMSE(Root Mean Squre Error) 평점 등 예측 문제의 추천 성능을 평가할 때 사용하는 지표 관측값과 실제값 사이의 오차(잔차)의 제곱을 산술평균한 값의 제곱근 RMSE가 낮을수록 추천 알고리즘의 성능이 더 좋다고 정량적으로 평가 가능하다. 랭킹 추천에 사용되는 평가지표 ⬛ NDCG(Normalized Discounted Cumluative Gain) 랭킹 추천에 많이 사용되는 평가 지표로, 정보 검색에서 많이 사용했던 지표 검색엔진, 영상, 음악 등 컨텐츠 랭킹 추천에서 주요 평가지표로 활용 Top-N 랭킹 리스트를..

추천 시스템의 구조 추천 시스템의 전체적인 구조는 후보를 생성하는 단계와 랭킹을 매기는 단계로 구분된다. ⬛ 후보 생성하는 단계 수백만개의 아이템 중 사용자의 활동 기록을 기반으로 후보가 될 만한 수백 여개의 아이템으로 선정하는 단계이다. 이러한 후보는 일반적으로 높은 정밀도로 사용자와 관련이 있고 협업 필터링(사용자간의 유사성)을 통해서만 광범위한 개인화를 제공한다. 리스트에서 최상의 리스트를 제시하기 위해서는 recall이 높은 후보 간의 상대적 중요성을 구분하기 위해 세밀한 수준의 표현이 필요하다. ⬛ 랭킹을 매기는 단계 아이템과 사용자를 설명하는 Feature을 사용하여 원하는 목적 함수에 따라 각 아이템에 점수를 할당하여 가장 높은 점수를 받은 아이템이 점수에 따라 순위가 매겨져 사용자에게 표시..

추천 시스템 이란? ⬛ 등장배경 인터넷의 폭발적인 성장과 정보의 다양화로 인터넷에서 찾을 수 있는 정보가 많아졌고, 인터넷 관련 비즈니스(e-Business, e-Commerce)가 활성화되면서 사용자가 인터넷 공간에서 정보를 찾고 적절한 결정을 내리기 어려운 실정이 되었다. ▶ 사용자가 정보를 수집하고 찾는 시간을 줄여주는 것이 목적! ⬛ 추천시스템 정의 사용자(user)와 상품(Item)으로 구성된 시스템으로, Item 또는 User가 관심 갖을만한 정보를 추천한다. 특정 사용자(User)가 좋아할 상품(Item)을 추천하거나, 비슷한 상품(Item)을 좋아할 사용자(User)를 추천한다. Push Information으로 사용자가 요구하기 전 작동하며, 사용자 스스로 원하는 바를 정확히 알지 못한다..

보호되어 있는 글입니다.