[XAI] XAI란 무엇인가?

이번 글에서는 AI 모델이 중요하게 생각하는 부분을 우리에게 알려주는 XAI에 대해서  알아보겠습니다.

 

XAI(eXplainable Artificial Intelligence) 등장배경

---

인공신경망 기반의 딥러닝 모델은 사람이 그 결과를 해석하기 어렵기 때문에 Black Box 모델이라고도 합니다.

 

⬛ Black Box 모델

• 예측 결과에 대한 근거가 제공되지 않습니다.
• 일반적으로 모델의 예측 정확도와 결과에 대한 해석력은 Trade-Off 관계를 가집니다. 예측 정확도가 높은 모델들은 결과에 대해 해석력이 떨어집니다.

머신러닝 기반 모델의 경우 딥러닝 모델보다는 정확도는 떨어질 수 있으나, 학습된 모델을 통한 해석력은 좀 더 높다고 할 수 있습니다. 어떤 설명 변수가 얼마나 영향을 미치는지 알 수 있기 때문입니다. 

 

하지만 개별 관측치에 대한 예측치가 어떻게 이런 결과가 나왔는지 설명하기란 어려운 일입니다. 이에 XAI가 등장하게 되었습니다.

 

 

XAI(eXplainable Artificial Intelligence) 정의

---

XAI는 사용자가 AI 시스템의 작동방식과 최종 결과를 이해하고 올바르게 해석하여 결과물이 생성되는 과정을 설명 가능하도록 해주는 기술을 의미합니다.  즉, 전체 데이터 또는 개별 관측치에 대한 예측 근거를 제공하게 됩니다. 아래의 예와 같이 변수별로 어떻게 얼마나 기여하는지를 해석할 수 있습니다.

그렇기 때문에, XAI를 적용하게 되면, 머신러닝 모델 또는 딥러닝 모델 어느 예측 모델인지와 관계 없이 모델에 대한 해석력을 개선할 수 있습니다.

 

XAI(eXplainable Artificial Intelligence)의 필요성

---

 

위와 같이 AI가 부연설명 없이 우수한 정확도만 보이는 AI의 의견을 따를까요? 사람이 이해하긴 어렵지만 정확도가 높은 모델 보다는 해석이 가능한 모델을 선택했을 때 더 신뢰성을 느낄 것입니다.

 

XAI를 활용하면 은행원처럼 AI의 부연설명을 더할 수 있습니다. 

XAI를 통해 AI가 생성한 결과의 도출 근거와 과정의 타당성 등에 대해서 확인할 수 있어, 사람이 Black Box 모델을 이해하고 설명할 수 있습니다. 

 

 

XAI(eXplainable Artificial Intelligence)의 활용 방안

---

https://www.fsec.or.kr/common/proc/fsec/bbs/42/fileDownLoad/1447.do 참고하였습니다.

• 모델 성능 향상 : 학습 모델 편향 등 시스템의 성능 저하 요인을 파악하고, 동일한 목적과 결과를 갖는 학습 모델 간 비교로 적합한 학습 모델을 도출함으로써 성능 향상 가능합니다.
• 비즈니스 인사이트 도출 : 학습 과정 중 데이터로부터 다양한 패턴을 추출 및 분석하여 드러나지 않던 전략, 법칙 등을 도출 가능합니다.
• 법적 책임 및 준수 확인 : AI 모델의 잘못된 결과로 분쟁 발생 시 원인 파악 가능합니다.