MiMi's Self-development Blog

[ 목차 ] 1. Why Generative BI? 생성형 AI는 챗봇 서비스와 문서 요약, 문서 작성 등 다양한 분야에서 널리 활용되고 있습니다. 이러한 기술은 사용자의 질의에 따라 Tabular Data에서 그래프나 테이블을 생성하는 작업에도 적용될 수 있는데요, 기본적으로 데이터에 기반한 시각화를 위해서는 OLAP툴과 연계하기는 하지만, 사용자가 어느 정도 OLAP툴에 익숙해야만 제대로 활용할 수 있습니다. 그러므로 비전문가들이 데이터에 기반한 자동화된 분석과 시각화를 자유롭게 하기 위해서는 생성형 BI 툴이 필요합니다. 2. Generative BI ToolChatGPT를 사용해본 적이 있다면, 그래프나 테이블 형태로 정확한 Output을 내는 것이 어렵다는 것을 잘 알 것입니다. 그런데, 이 C..

앞서 Model Drift 개념과 유형에 대해서 알아보았습니다. 이번 글에서는 Model Drift를 감지하는 방법과 Model Drift를 방지하고 해결하는 방법에 대해서 정리해 보겠습니다. Model Drift Detection 방법 첫 번째, input 변수와 target 변수의 변화를 통계적으로 분석하거나 모니터링하는 방법 [Data Drift Detection] Descriptive statistics, Distribution changes(KS Test, PSI 등), Model Based Approach, Adaptive Windowing, Page-Hinkley method 두 번째, 모델 예측 결과를 평가하여 성능 변화를 감지하는 방법 [Concept Drift Detection] 모델 ..

Model Drift Introduction 대부분의 머신러닝 모델들이 가정하는 강력한 전제는 indepedent identical data입니다. 즉, 머신러닝 모델들은 모델이 학습한 패턴들이 변하지 않는 것을 가정합니다. 하지만 실제로는 시간이 지남에 따라 고객/환경/상품 등등이 변하고 데이터의 패턴 역시 끊임없이 변화합니다. 배포된 머신러닝 모델이 끊임없이 새로운 데이터에 대한 예측을 수행하지만, 새로운 데이터는 기존 모델의 학습 데이터와는 다른 확률 분포를 가져 모델의 성능은 하락하게 됩니다. 이렇게 변화하는 환경에 따라 모델의 성능이 저하되는 현상을 Model Drift라고 합니다. 따라서 머신러닝 모델을 배포한 후에도 Model Drift가 언제 발생했는지 발견하고, 필요에 따라 데이터의 패턴..

다음은 NHiTS 논문을 정리한 글입니다. Summary N-HiTS는 N-BEATS 모델의 확장으로 N-BEATS에 비해 예측 정확도를 높이고 계산 비용(연산, 메모리 측면)을 줄임 Fully Connected layer로 구성하여 Multi-step을 한번에 예측 N-HiTS는 각 스택이 다른 Scale로 시계열을 포착할 수 있도록 Input에 대해 Maxpool을 적용 (Multi-rate data sampling) 다른 비율로 시계열을 샘플링한 스택은 장기 효과에 특화, 다른 스택은 단기 효과에 특화할 수 있음 계층적 보간(Hierarchical Interpolation)을 통해 얻어진 각 스택의 예측값을 결합하여 최종 예측을 산출, 이렇게 하면 모델이 가벼워지고 장기 시계열을 예측하는 데 더 정..

📚 논문 : "Attention is all you need" 💻Github : https://github.com/jadore801120/attention-is-all-you-need-pytorch d_model(D_m) class PositionwiseFeedForward(nn.Module): ''' A two-feed-forward-layer module ''' def __init__(self, d_in, d_hid, dropout=0.1): super().__init__() self.w_1 = nn.Linear(d_in, d_hid) # position-wise self.w_2 = nn.Linear(d_hid, d_in) # position-wise self.layer_norm = nn.LayerN..

RNN을 사용한 Seq2Seq 모델링의 특징과 문제점 인풋 문장의 정보를 잘 인코딩(단어 하나하나 누적해 압축한 벡터 생성)하여 디코더가 그에 부합하는 토큰을 하나씩 꺼내는 구조입니다. 디코더가 참고하는 문맥은 입력문이 전부 압축된 하나의 벡터로, 이 벡터는 입력문을 모두 누적하고 있지만, 문장 앞부분의 내용은 너무 압축된 나머지 정보를 거의 잊어버리게 됩니다. ▶▶▶ 인풋/아웃풋 문장의 길이가 길어지면 Seq2Seq의 성능 저하 (Gradient Foregetting, Long term dependency) Attention의 등장배경 (예시) " 지하철 가는 법은 노란색 간판에서 좌회전에서 300미터 정도 간 후에 초록색 표지판이 보이면 우회전을 합니다. 그리고 200미터 정도 직진하면 보입니다"란 ..

이번 글에서는 시퀀스를 인풋으로 받아 시퀀스를 아웃풋으로 리턴하는 아키텍처인 Seq2Seq에 대해 알아보겠습니다. Seq2Seq 영어 문장을 한국어로 번역하는 모델은 어떻게 만들 수 있을까요? Seq2Seq모델에서는 Source 문장인 영어 문장을 인코딩하고 Target 문장인 한국어로 디코딩하게 됩니다. 쉽게 말해, 인풋으로 들어온 문장의 정보를 잘 모델링하여 hidden vector에 담아내고 이 의미에 기반해 토큰을 하나씩 꺼내면 됩니다. Encoding 원본의 의미를 잘 담은 벡터를 생성 ▶▶▶ Decoding 부합하는 단어를 하나씩 추출 ✅ 2개의 RNN을 인코더-디코더 구조로 사용하는 구조 아래와 같은 2개의 RNN을 사용해 활용합니다. (💡 두 개의 RNN을 사용하는 이유는? 원본 문장을 인..

GRU(Gated Recurrent Unit) 2개의 Gate를 이용해 현 단계의 인풋과 이전 히든 정보 비율을 조절합니다. 1️⃣ Reset gate : 새로운 hidden을 생성할 때 현재 입력 정보와 관련없는 과거의 정보를 drop 2️⃣ Update gate : 과거의 정보를 얼마나 기억할지를 결정 만약, r(Reset Gate)가 0에 가까우면, 과거 히든의 정보는 이번 step의 feature을 만드는 데에 기여도가 낮다. 만약, z(Update Gate)가 1) 0에 가까운 경우, 과거의 정보를 그대로 복사(이번 스텝의 정보는 히든을 만드는 데 기여X) → Vanishing gradient가 줄어든다. 2) 1에 가까운 경우, 과거 히든을 그대로 복사하는 부분은 줄어들고 이번 스텝에서 만들어..