선정 이유: 내가 살면서 겪은 가장 강력한 추천 시스템 , 중국에 경우 100% 개인화 뉴스앱 가입자 6억명(~개인화된 네이버)

[이코노미조선] 100% 개인 맞춤형에 가입자 6억명...대형 언론사 쓰러트린 중국 뉴스앱

0.요약(Abstract)

• youtube는 대표적인 엄청 큰 개인화 서비스이다. 이 논문에선 딥러닝을 통한 엄청난 성능 개선을 high-level에서 알려줄 것이다. 모델은 두가지 단계로 나눠지는데, 우선 deep candidate generation model(심층 후보군 생성 모델)을 설명한 후 별도의 랭킹 모델을 설명할 것이다.
• 마지막으로 대규모 추천시스템 구축 및 유지를 경험하며 생긴 실험적 교훈도 제공한다.

1. 개요(Introduction) : 실제로 딥러닝을 통해 서비스의 성능을 개선시킴

1. 실제 상황에서 겪게되는 이슈들
   1. Scale : 엄청난 양의 데이터와 제한된 컴퓨팅 파워 → 고도로 전문화된 분산 학습 알고리즘과 효율적인 서빙 시스템이 필수적
   2. Freshness : 새로운 컨텐츠의 빠른 적용이 필요함. → 초당 몇개가 업데이트되는 상황에서 반영할 수 있어야함.
   3. Noise : 낮은 meta data 퀄리티(sparse , many external factors) , Implicit Feedback(시청 이력) 위주 데이터 → 이러한 특정 특징에 강력한 알고리즘 필요.
2. 구글이 사용하는 보편적인 대규모 분산 딥러닝 모델(2012, Large Scale Distributed Deep Networks)https://proceedings.neurips.cc/paper/2012/file/6aca97005c68f1206823815f66102863-Paper.pdf
3. (sementic segmentation 의미분석) (2016, TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems)

https://colab.research.google.com/github/tensorflow/models/blob/master/research/deeplab/deeplab_demo.ipynb#scrollTo=aUbVoHScTJYe

• 예시

2. 전반적인 모델 설명 (System overview)

• 전체 비디오의 유저 히스토리를 보고 협업필터링을 통해 candidate generate(후보 선출)을 몇백개 추려낸다. → 추가 특징 추가해서 랭킹을 매긴다. 결과적으로 우선순위 몇십개의 영상이 나온다.

1. Candidate Generation Model : High-precision 이 목표
2. Ranking Model : 다양한 다른 소스들의 적용을 통한 성능 개선

• 컨텐츠 기반 필터링 vs 협업필터링