[DAY 36] Lightweight models & The flip-side of the coin: on-device AI & Optimization

[Changwoo Lee]

👀 주말 회고

원딜 @changwoomon

• 캐글 책 베타리더 당첨!

후미 @opijae

• 롤 골드 달성!

샐리 @bsm8734

• 친구분들과 사진관가서 사진 찍으셨습니다.

히스 @Heeseok-Jeong

• 지난주 강의 복습, 백준 쉬운 문제 풀기, 서핑 하셨습니다.

펭귄 @CoodingPenguin

• 유튜브(브레이브 걸스 영상) 시청, 백화점 쇼핑 하셨습니다.

---

🤷‍♀️Further Question🤷‍♀️

(1강) 가벼운 모델

1) 이번 강의는 lightweight modeling 과 어떤 관계가 있을까?

2) 변환 후 모델의 size와 parameter의 개수는 어떻게 될까?

• 보통 size와 parameter 개수는 비례 → size를 줄이면 parameter 개수도 당연히 줄지 않을까요?
• PyTorch(.pth) : 233MB
• onnx : 233MB
• TF(.pb) : 233MB
• Keras(.h5) : 233MB
• TF Lite(.tflite) : 58MB
• TensorRT(.trt) : 466MB
  • 왜 TensorRT로 바꾼 모델이 크기가 가장 클까요?
    • TensorRT
    • tensorRT 는 tflite 와 같이 on-device 의 목적이 아닌 NVIDIA GPU 에서 inference 속도를 높여주는 것이 목적이기 때문에 변수를 NVIDIA GPU 에 최적화시키는 과정에서 용량은 커지지만 inference 속도는 빨라진다고 생각했습니다.
• onnx → pth : 351MB
  • pth → onnx → pth 과정으로 진행되었는데 왜 용량이 더 커졌을까요?
    • #102

3) 이 중에서 가장 가벼운 모델은 어떤 것일까? (슬라이드 p.41)

• TF Lite(.tflite) : 58MB

4) 어떤 변환은 가역적이고 어떤 변환은 비가역적일까?

• PyTorch ↔ onnx → TF / Keras / TF Lite / TensorRT

(2강) 팔리는 물건

1) 이번 강의는 lightweight modeling과 어떤 관계가 있을까? (이 강의를 만든 목적은 무엇일까?)

• 비즈니스를 위해서 on-device로 옮기는 과정이 필요한데 이를 위해 lightweight 모델을 만들어서 옮겨야 한다.

2) 고객의 어떤 문제를 내가 해결할 수 있을까? + 3) on-device solution의 다른 아이디어는 어떤 것이 있을까?

• 차세대 딥러닝 기술 ‘온 디바이스(On-Device) AI’란?
• 스마트폰으로 마스크 썼는지 구별
• 공사장, 야외에서 이용
• GPS가 안되는 곳에서 내가 어디있는지

4) Memory 제약이 얼만큼이면 vgg16 모델이 작동을 못하는지 기록해보자

(3강) 가장 적당하게

1) 이번 강의는 lightweight modeling과 어떤 관계가 있을까? (이 강의를 만든 목적은 무엇일까?)

• 도메인에 따라 cost가 달라진다 → 각각 cost에 따라 모델을 경량화 할 수 있다.

2) euclidean / hamming / cosine distance의 차이는? 언제 어떤 거리를 사용해야할까?

• Euclidean, Angular(Cosine), Hamming Distance 차이
• 4 Types of Distance Metrics in Machine Learning
• 4 Distance Measures for Machine Learning
• euclidean distance
  • 유클리드 거리
  • 좌표계
• hamming distance
  • 해밍 거리
  • Hamming Distance Metric Learning
    
  • 비트, 문자열
  • 왜 NLP에서 많이 안쓸까요?
    • NLP에서는 character 별로 비교하기보다는 word 단위로 비교하기 때문에..?
    • word → Embedding → vector가 되어 cosine 유사도를 사용할 것이다.
• cosine distance
  • 코사인 유사도
  • 벡터

3) decision problem과 optimization problem의 차이를 적어보자

• decision problem
  • target에만 도달하면 된다. cost, loss가 작아지기만 하면 decision problem을 푸는 것이다.
• optimization problem
  • decision problem을 반복하면서 cost, loss를 줄이는 방향으로 문제를 푼다.

4) backpropagation 식이 왜 이렇게 될까?

    def sigmoid_derivative(self, x):
        return x * (1.0 - x)