[추천시스템] 추천시스템의 한계와 좋은 추천시스템이란?

추천시스템 한계

1. Scalability

  - 실제 서비스 상황은 다양한 종류의 데이터가 필요

  - 학습 또는 분석에 사용한 데이터와는 전혀 다른 실전 데이터가 필요

 

2. Proactive Recommender System

  - 특별한 요청이 없어도 사전에 먼저 제공하는 추천서비스

  - 모바일, 인터넷 등 어디서든 유저에게 끊임없이 좋은 정보를 추천할 수 있는 서비스

 

3. Cold-Start Problem

  - 추천서비스를 위한 데이터 부족

  - 기본적인 성능을 보장하는 협업필터링 모델 구축이 쉽지 않은 것이 일반적

  - 컨텐츠 기반 또는 지식 기반의 역시 서비스로 적용하기 어려움

 

4. Privacy preserving Recommender System

  - 개인정보 등 유저 정보가 가장 중요하지만, 직접적으로 사용하기 어려움

 

5. Mobile devices and Usage Contexts

  - Personal Computing, Location-based Service(LBS)

  - 개별 상황 또는 환경 등에 따라 다른 컨텍스트를 사용

 

6. Long-term and Short-term user preference

  - 개인 또는 그룹의 단기/장기 관심사항

  - 추천받고 싶은 아이템이 현재 또는 과거 중 어느 시기와 관련 있는지 파악하기 어려움

 

7. Generic User models and Cross Domain Recommender System

  - 하나의 모델을 여러가지 데이터에 적용하기 어려움

  - 비슷한 도메인의 데이터를 활용해도 동일한 성능의 추천시스템을 기대하기 어려움

 

8. Starvation and Diversity

  - Starvation : 필요한 컴퓨터 자원을 끊임없이 가져오지 못하는 상황

  - 유저/아이템이 다양하고, 모든 유저/아이템에 더 많은 관심을 부여해야 함

 

9. Filter Bubble

  - 사용자가 전체 정보를 볼 기회를 박탈당하고 추천시스템이 고도화될수록 취향에 맞는 정보만 제공받고 나머지 정보는 알 수 없음 (정보의 비대칭, 편향적)

  - 사용자간의 양극화 현상 등 사회적 문제로 이어질 수 있음

 

좋은 추천시스템을 만들기 위해 고려해야 할 사항

설득력 + 설명력 + 효율적 + 효과적

 

1. 성능 좋고, 빠르고 설명 가능한 추천 알고리즘

 

2. 추천 알고리즘을 만들기 위한 적절한 데이터 확보(User 또는 Item Profiling) 

 

3. 추천시스템 목적 : 추천시스템을 통해 비즈니스 역량 확대, 매출 증대, CTR 증가 등 다양한 목적

 

4. 플랫폼 내 추천시스템의 역할 : 추천시스템이 주요 기능? 필수 ? 옵션? 인지 역할 정의 필요

 

5. 플랫폼 사용자 : 사용자에게 어떤 정보를 받고 사용자는 어떤 환경에서 어떻게 서비스를 이용하는지 확인

 

6. 좋은 아이템을 추천하는 것만이 꼭! 좋은 해결책은 아니다.

  - 사용자는 추천된 리스트에서 조차 결정하기 어려울 수 있다.

  - 사용자 스스로 정보 또는 지식이 부족해서 추천된 아이템에서 선택이 불가능할 수 있다.

 

7. 사용자와 플랫폼 간의 소통이 필요하다

  - 사용자 스스로 추천된 아이템 중에서 선택할 수 있도록 소통

  - 플랫폼은 사용자의 취향을 보다 더 정확하게 파악할 수 있도록 의견 수렴

  - Interactive한 Process를 통해 사용자가 플랫폼에 더 오래 머물 수 있도록 유도

 

8. 정보 검색과 정보 추천 차이 극대화

  - 검색은 일반적인 아이템과 정보를 제공, 검색결과가 다양하고 검색 결과 안에서 사용자 스스로 필터링 해야 함

  - 추천은 개인화된 아이템과 흥미롭고 유용한 정보를 제공, 제공된 리스트에서 사용자가 선택을 하는 과정

 

추천시스템의 성능을 확인하는 방법

1. Business 또는 Service 관점

  - 추천 시스템을 적용하기 전과 후에 따라 달라진 점 파악

  - 매출, 구독 등 실제 수익 향상 여부

  - Click Through Rate(CTR) 등 방문자의 행동 변화 여부

 

2. Technique과 Operation 관점

  - 다양성 : 추천하는 아이템 종류의 변화
  - 참신함 : 사용자가 한번도 보지 못한 아이템 또는 뜻밖의 아이템이 추천되는지 여부
  - 관련성 : 사용자와 얼마나 관련이 있는지, 실제 구매로 이어졌는지 여부

 

3. A/B Testing

  - 서비스 개발에서 사용되는 사용성 테스트 기법 중 하나

  - 개발 단계에서 2가지 이상의 버전을 만들고 이에 대한 실제 사용자의 반응을 확인하여 대조 실험

  - 구체적으로 웹 또는 앱의 방문자에게 A버전과 B버전을 무작위로 보여주고, 측정 지표를 바탕으로 더 효용이 높은 버전이 무엇인지 정량적으로 평가 (클릭률, 방문수, 페이지/사이트 체류시간, 페이지뷰, 평균 페이지뷰, 가입률, 구매율, 매출액)

  - 가설을 직관이 아닌 데이터 또는 결과로 증명하여 의사결정에 활용

  - 주의점 : 단기적인 성과에 집중, 원인 분석이 어려움, 데이터 해석의 왜곡(수치는 객관적이지만 의사결정은 인간이기에) 

 

4. Offline Evaluatoin & Online Evaluation

  (1) Offline Evaluation :

     - 추천 알고리즘 구현에 사용한 데이터를 Train/Valid/Test로 나누어 평가
     - 정량적인 지표(RMSE/NCDG 등)를 활용한 객관적인 평가 가능
     - 수집된 데이터를 바탕으로 평가가 이루어지므로, 실제 서비스 상황에서 다르게 적용될 수 있음
     - 다양한 추천알고리즘을 쉽고 빠르게 평가할 수 있음

  (2) Online Evaluation : 

     - 추천시스템이 적용된 플랫폼에서 실제 사용자의 피드백, 평점 등 활용

     - 수집할 수 있는 데이터의 한계가 있으나, 실제 사용자의 데이터이기 때문에 정확한 평가 가능

     - 수집한 데이터는 추천서비스 향상에 직접적인 도움을 줄 수 있음

 

 

 

 

[참고문헌]

• Research Problems in Recommender systems: https://iopscience.iop.org/article/10.1088/1742-6596/1717/1/012002/pdf
• 디지털 경제의 진화 방식, A/B 테스트 - 투이컨설팅 (2e.co.kr)
• 패스트 캠퍼스 강의 https://fastcampus.co.kr/data_online_rs