[SQLD자격증] # 0. SQLD 자격증 준비

SQLD 자격증시험을 보고자 준비하려고 합니다. ⬛SQLD 참고 사이트 1. 시험일정 및 접수 : https://www.dataq.or.kr 2. 자격증 카페 : https://cafe.naver.com/sqlpd 3. 요점정리 블로그: (1) https://cafe.naver.com/sqlpd/7810 (2) https://blog.naver.com/liberty264/220567987579 4. 기출문제집 책 (1) SQL 자격검정 실전문제 https://product.kyobobook.co.kr/detail/S000001399867 (2) 이기적 SQL 개발자 기출문제 500제 https://product.kyobobook.co.kr/detail/S000200826826 ⬛SQL 개발자의 직무는? ..
Data Engineering 2023. 3. 7. 00:28
[딥러닝] BERT와 GPT의 기본인 Transformer의 A to Z

📚 논문 : "Attention is all you need" 💻Github : https://github.com/jadore801120/attention-is-all-you-need-pytorch d_model(D_m) class PositionwiseFeedForward(nn.Module): ''' A two-feed-forward-layer module ''' def __init__(self, d_in, d_hid, dropout=0.1): super().__init__() self.w_1 = nn.Linear(d_in, d_hid) # position-wise self.w_2 = nn.Linear(d_hid, d_in) # position-wise self.layer_norm = nn.LayerN..
Data Science&AI 2023. 2. 26. 14:31
(네이버 블로그로 이전)

https://blog.naver.com/calmmiforest
독서 2023. 2. 18. 18:15
[딥러닝] Attention에 대한 설명

RNN을 사용한 Seq2Seq 모델링의 특징과 문제점 인풋 문장의 정보를 잘 인코딩(단어 하나하나 누적해 압축한 벡터 생성)하여 디코더가 그에 부합하는 토큰을 하나씩 꺼내는 구조입니다. 디코더가 참고하는 문맥은 입력문이 전부 압축된 하나의 벡터로, 이 벡터는 입력문을 모두 누적하고 있지만, 문장 앞부분의 내용은 너무 압축된 나머지 정보를 거의 잊어버리게 됩니다. ▶▶▶ 인풋/아웃풋 문장의 길이가 길어지면 Seq2Seq의 성능 저하 (Gradient Foregetting, Long term dependency) Attention의 등장배경 (예시) " 지하철 가는 법은 노란색 간판에서 좌회전에서 300미터 정도 간 후에 초록색 표지판이 보이면 우회전을 합니다. 그리고 200미터 정도 직진하면 보입니다"란 ..
Data Science&AI 2023. 2. 18. 17:12
[딥러닝] Seq2Seq에 대한 설명

이번 글에서는 시퀀스를 인풋으로 받아 시퀀스를 아웃풋으로 리턴하는 아키텍처인 Seq2Seq에 대해 알아보겠습니다. Seq2Seq 영어 문장을 한국어로 번역하는 모델은 어떻게 만들 수 있을까요? Seq2Seq모델에서는 Source 문장인 영어 문장을 인코딩하고 Target 문장인 한국어로 디코딩하게 됩니다. 쉽게 말해, 인풋으로 들어온 문장의 정보를 잘 모델링하여 hidden vector에 담아내고 이 의미에 기반해 토큰을 하나씩 꺼내면 됩니다. Encoding 원본의 의미를 잘 담은 벡터를 생성 ▶▶▶ Decoding 부합하는 단어를 하나씩 추출 ✅ 2개의 RNN을 인코더-디코더 구조로 사용하는 구조 아래와 같은 2개의 RNN을 사용해 활용합니다. (💡 두 개의 RNN을 사용하는 이유는? 원본 문장을 인..
Data Science&AI 2023. 2. 18. 15:15
[딥러닝] GRU(Gated Recurrent Unit)에 대한 이해

GRU(Gated Recurrent Unit) 2개의 Gate를 이용해 현 단계의 인풋과 이전 히든 정보 비율을 조절합니다. 1️⃣ Reset gate : 새로운 hidden을 생성할 때 현재 입력 정보와 관련없는 과거의 정보를 drop 2️⃣ Update gate : 과거의 정보를 얼마나 기억할지를 결정 만약, r(Reset Gate)가 0에 가까우면, 과거 히든의 정보는 이번 step의 feature을 만드는 데에 기여도가 낮다. 만약, z(Update Gate)가 1) 0에 가까운 경우, 과거의 정보를 그대로 복사(이번 스텝의 정보는 히든을 만드는 데 기여X) → Vanishing gradient가 줄어든다. 2) 1에 가까운 경우, 과거 히든을 그대로 복사하는 부분은 줄어들고 이번 스텝에서 만들어..
Data Science&AI 2023. 2. 13. 22:06
[딥러닝] LSTM(Long-Short Term Memory)에 대한 이해

LSTM(Long Short Term Memories) Gradient vanishing / exploding 문제 완화를위해, 거리가 먼 과거의 정보도 잊어버리지 않도록 수식을 변형하고, 3개의 Gate를 이용해 현 단계의 인풋과 이전 메모리의 비율을 조정합니다. (아래 설명 및 그림은 https://medium.datadriveninvestor.com/lstm-vs-rnn-confusion-cleared-772d43b4206f을 참조) RNN RNN Cell은 이전 단계의 hidden state와 이번 단계의 인풋을 결합하여 다음 유닛으로 전달합니다. LSTM LSTM에서는 Cell state와 Hidden state라는 두 개의 정보 흐름을 가지며 인풋에 따라 정보를 선택하거나 결합하여 다음 유닛으..
Data Science&AI 2023. 2. 13. 18:14
[딥러닝] RNN(Recurrent Neural Network)에 대한 이해

RNN(Recurrent Neural Network) 순차적으로 들어오는 Sequential 데이에 적합하며, 매 시점의 데이터를 누적한 정보를 이용해 모델링하게 됩니다. 먼저, RNN을 사용할 수 있는 데이터 예시를 살펴보겠습니다. 아래 표를 보면 어제 주가, 어제 KOSPI, 뉴스 언급량을 사용해 오늘의 주가를 예측하고자 합니다. 이 때 RNN을 사용할 수 있습니다. ⬛ RNN의 구조 현 시점 t의 정보(hidden)는 현 시점 t의 input(Wxh xt)과 이전 시점 t-1의 정보(hidden state, ht-1)을 결합한 것으로, 다음 단계의 hidden(ht)으로 넘겨주고 현재 단계의 아웃풋(yt)을 생성하게 됩니다. 임의 길이의 연속적인(sequential) 입력 데이터를 처리할 수 있고 ..
Data Science&AI 2023. 2. 13. 16:45
1 2 3 4 5 6 ··· 13