[U] Day 40 - Lightweight V

(10강) 행렬 분해

Three maps

Kernel method

Matrix decomposition

Tensor decomposition

Tensor decomposition on network compression

토이 코드

---

(10강) 행렬 분해

💡

행렬 분해에 대해 알아본다.

Three maps

행렬 분해에 대한 Bird View를 위해 세가지의 Map을 제시한다.

행렬의 연산과 수학적 의미는 Tensor에서도 동일하다.

행렬의 선형대수적 의미는 Tensor도 동일하다.

행렬로부터 시작해서 각 연결 구조는 최종적으로 ML과 맞닿아 있다.

모양과 형태는 다를지라도, 원리적으로는 동일한 의미를 갖는 것이 많다.

선형 일차방정식과 행렬형태의 표현

행렬 표현 등을 통해 우리는 Rank와 Span을 알 수 있듯이, 다른 시각으로 동일한 정보를 받아들일 수 있다.

Kernel method

커널 메서드는 적은 계산으로 원래의 계산을 근사하는 방식이다. 즉 적은 Rank로 높은 Rank의 연산을 대신하는 것이다.

Kernel Method를 이용한 고차원 연산의 예시

Matrix decomposition

행렬을 분해하는 과정은 추천시스템 등에서 자주 활용되던 방법이다. 우리는 이 과정을 행렬의 연산과 같이 다른 방법으로 이애하거나 근사 할 수 있다.

행렬 분해의 다양한 방법의 예시

Tensor decomposition

3차원 이상의 Tensor에 대해서도 동일하게 적용할 수 있다.

Tensor에서도 동일한 개념이 유지된다.

Tensor decomposition on network compression

MobileNet과 같은 Neural Network가 사용한 다양한 방법이 사실은 수학적으로 비슷한 개념을 갖고 있었다.

MobileNet이 사용한 다양한 방법은 수학적으로 행렬 연산과 관계가 있었다.

토이 코드

CP decomposition

Uploaded by Notion2Tistory v1.1.0