0. 강의 소개

• 딥러닝 모델 최적화에 대한 전반적인 소개와 강의내용에 대한 전반적인 소개를 합니다.
• 어떻게 하면 같은 성능을 유지하면서 더 작고 더 빠른 모델을 만들 수 있을까요?

1. Introduction(경량화)

1-1. 경량화의 목적

• 온디바이스.
• AI on cloud(or server) : 배터리, 저장공간, 연산능력의 제약은 줄어드나, latency와 throughput의 제약이 존재한다.
• 연산량이 AI에서 주요한 키요소다. _OPenAI

1-2. 경량화 분야 소개

• 네트워크 구조 관점

  1. Efficient Architecture Design(+AutoML;Neural Architecture Search(NAS))

     1. software 1.0 : 사람이 짜는 모듈 → software 2.0 : 알고리즘이 찾는 모듈!

  2. Network Pruning

     1. 중요도가 낮은 파라미터를 제거하는 것

        e.g) L2 norm이 크면, loss gradient크면 등등

     2. structured/unstructured pruning으로 나뉨

  3. Knowledge Distillation

     1. 이미 학습된 큰 네트워크를 작은 네트워크의 학습 보조로 사용하는 방법

     2. soft targets(soft outputs)에는 ground truth보다 더 많은 정보를 담고 있다.

        e.g) 차와 자전거 구분하는데, 자전거 달린 차가 있다면 teacher는 각각을 하드 레이블이 아닌 소프트 레이블로 확률값을 가진다. (g.t보다 많은 정보량)

  4. Matrix/Tensor Decomposition

• Hardware 관점
  1. Network Quantization
     1. float16 , int8로 변환하여 연산 수행 , quantization error가 어느정도 있지만 robust하게 작용함
  2. Network Compiling

     1. 학습이 완료된 네트워크를 배포하려는 타겟 하드웨어에서 inference가 가능하도록 컴파일하는 것(최적화 동반)

        

        레이어 퓨전

2.강의목표,구성

2-1. 강의 목표

• 일련의 과정을 따라가 보자! - 경량화 컬렉션

  • 넓은 분야이므로 앞으로 도움이 될만한 넓은 분야 토픽을 선정

  

  1. AutoML : 알아두면 유용함
  2. Tensor Decomposition : 수학적으로 복잡할 수도 있지만 간단하게 사용 가능
  3. Quantization & compile

2-2. 강의 구성