[AI기사] 마이크로소프트, 비학습 데이터로 응답하는언어 모델 '고델(GODEL)' 공개

다음 글은 AI 타임스의 기사를 요약하였습니다.

http://www.aitimes.com/news/articleView.html?idxno=145531 

마이크로소프트, 비학습 데이터로 응답하는 언어 모델 ‘고델(GODEL)’ 공개 - AI타임스

 

⬛ 마이크로소프트의 고델(GODEL)이란 무엇인가?

고델(GODEL)은 Grounded Open Dialogue Model의 약자입니다. 고델은 사전 학습 모델에 의한 응답 뿐만 아니라 외부 정보를 활용하여 응답을 생성하는 언어 모델입니다.

• 고델은 마이크로소프트가 2019년에 발표한 최초의 대규모 사전 학습 모델인 DialogGPT를 개선한 트랜스포머(Transformer) 기반의 언어 모델입니다.
• 고델의 목적은 응답할 수 있는 쿼리 유형과 가져올 수 있는 정보 소스에 제한이 없는 대화 에이전트를 만드는 것입니다.
• 대화 에이전트의 대화 내용 뿐만 아니라 학습되지 않은 외부 정보를 기반으로 응답을 생성할 수 있는 기능을 제공합니다.
  외부 정보 예시로는 사용자가 지역 레스토랑 문의할 경우, 해당 장소가 훈련에 사용된 데이터에 포함되지 않았더라도 모델은 응답 가능합니다. 이때, [구조화된 콘텐츠] 레스토랑에 대한 DB에 저장된 정보  + [구조화되지 않은 콘텐츠] 위키피디아 기사 및 웹에서 찾을 수 있는 기타 공개 자료를 활용하게 됩니다.
     

⬛  고델의 주요 특징

문제 해결을 위한 작업 지향 대화, 잡담과 같은 대화가 모두 가능한

• 대화 에이전트가 외부 정보를 검색하기 위한 소스를 결정할 때의 유연성입니다.
  • 여러 대화 환경에서 활용 가능하도록 다양한 정보 소스 선택이 가능합니다.
  • 생성되는 응답은 근거가 되는 외부 정보의 유무, 문서, 검색 결과와 같은 구조화되지 않은 텍스트 또는 DB에서 가져온 정보와 같은 구조화된 텍스트에 따라 달라집니다.
• 학습에 사용되지 않은 최신 정보를 현재의 기반 데이터에 통합이 가능합니다.
  • 통합된 데이터를 기반으로 다음 질의에 활용 가능하며, 결과적으로 최신 상태의 모델로 유지 가능합니다.
    (예를 들어 2022년 동계 올림픽 이전에 모델이 개발된 경우에도 고델은 해당 대회에 대한 세부 정보와 승자 목록을 업데이트해 제공 가능합니다.)
• 광범위한 대화 응용 프로그램 지원
  • 이전 모델인 DialogGPT 및 기타 사전 학습된 대화 모델은 챗봇(작업 지향적)에 중점을 두었습니다.
  • 고델은 작업 지향, 질문 응답 및 잡담(일반적인 질문이나 특정 작업에 대한 요청 포함)을 포함하여 다양한 쿼리 유형에 대해 합리적인 응답을 생성할 수 있습니다.
  • 고델은 트랜스포머(Transformer) 기반 인코더-디코더 모델로 매개변수화되며, 외부 텍스트에 기반한 응답 생성을 위해 fine-tuning 됩니다.

 

마이크로소프트는 오픈 소스 버전과 대형, 초대형의 세 가지 버전을 사용할 수 있습니다.

또한 사전 학습된 모델을 재학습하고, 위키피디아 위젯 및 인터넷 데이터셋 위젯, 작업 완료 대화 상자와 같은 특정 작업에 대해 미세 조정(fine-tuning) 하기 위한 소스 코드를 제공합니다.