[AI-언어] 언어를 인식(NLU)하는 방법은? - 토크나이징 / 인코딩 / 토큰 임베딩

언어를 기계가 인식할 수 있도록 형태로 바꾸려면 어떻게 해야 할까요? 인공신경망으로 분석할 데이터는 실수로 이루어진 벡터나 매트릭스 등 다차원의 실수 데이터, 즉 텐서(Tensor) 타입이어야 합니다. 언어의 경우도 텐서로 바꾸어 인식시킬 수 있습니다. 일반적으로 NLU는 Step1) 토크나이징 : 자연어 인풋을 분석의 단위 (어절/형태소/음절 등)으로 쪼개는 과정 Step2) 인코딩 : 토큰을 단어 사전을 이용해 One-hot-Encoding으로 바꾸는 과정 Step3) 토큰 임베딩 : One-hot-Encoding 벡터를 의미 있는 실수 벡터로 변환하는 과정 Step4) 모델 : 변환된 벡터를 이용해 수행하는 목적에 따라 딥러닝 모델을 통해 결과를 내는 과정 (감성분석 예시) "가게 건물은 별론데 맛..
Data Science&AI 2023. 2. 13. 14:10
1