[선형대수학] 딥러닝에서의 노름 혹은 놈(Norm)

 

 

Norm 은 절대값에서 출발하여 추상화된 개념으로 벡터의 길이 혹은 크기를 측정하는 방법이라고 할 수 있다. Norm 이 측정한 벡터의 크기는 원점에서 벡터 좌표까지의 거리 혹은 Magnitude 라고 한다. 선형대수학에서의 Norm의 정의는 아래와 같다. 

 

$V$를 $F$상에서의 벡터공간이라고 하면, 

 

$\left \| \cdot  \right \| :V \rightarrow F$ 가 $u, v\in V$ 와 $k\in F$ 에 대해서 다음 세 조건을 만족시키면 

$\left \| \cdot  \right \|$ 을 $V$ 상에서 Norm 이라고 정의한다. 

 

(i) 정부호 : $\left \| u \right \| \geq 0$ 이고, $u = 0 \Leftrightarrow \left \| u \right \| = 0$

(ii) 동질성 : $\left \| ku \right \| = \left | k \right | \left \| u \right \|$

(iii) 삼각부등식 : $\left \| u+v \right \| \leq \left \| v \right \| + \left \| u \right \|$

 

 

 

벡터공간 $\mathbb{C}^{n}$ 와 그 벡터 $u=(u_{1}, u_{2}, ... , u_{n}) \in \mathbb{C}^{n}$ 에 대한 Norm 들은 다음과 같다. 

 

1. Manhattan Norm

 

$\left \| u \right \|_{1} = \sum_{k=1}^{n}\left | u_{k} \right |$

 

Manhattan Norm은 $l_{1}$ 라고도 불리며, 거리를 정의할 때 쓰인다. 단순 직선 거리가 아니라 실제 이동거리를 표현하기 위해 고안되었다. 

 

즉, 아래와 같이 표기할 수도 있다. 

 

$L_{1} = \left ( \sum_{i}^{n}\left | x_{i} \right | \right )  = \left | x_{1} \right | + \left | x_{2} \right | + ... + \left | x_{n} \right |$

 

 

 

 

2. Euclidean Norm

 

$\left \| u \right \|_{2} = \sqrt{\sum_{k=1}^{n}\left | u_{k} \right |^{2}}$

 

Euclidean Norm 은 거리 및 크기의 개념으로써 차원과 상관 없이 절댓값 제곱의 합의 제곱근으로 구해진다. 이는 $l_{2}$ 라고도 불린다. 

 

즉, 아래와 같이 표기할 수도 있다.

 

$L_{2} = \sqrt{\sum_{i}^{n}x_{i}^{2}} = \sqrt{x_{1}^{2} + x_{2}^{2} + ... + x_{n}^{2}}$

 

 

 

 

3. p-Norm

 

$\left \| u \right \|_{p} = \left ( \sum_{k=1}^{n} \left | u_{k} \right |^{p} \right )^{\frac{1}{p}}$

 

$p$ 는 1보다 크거나 같고 딱히 자연수일 필요는 없다. 위의 Manhattan Norm 과 Euclidean Norm 은 p-Norm 의 특수한 예로써 각자 1-Norm, 2-Norm 에 해당한다. 특히 $p = \propto$ 이면 maximum norm 이 된다. 참고로 maximum norm 은 아래와 같다. 

 

$\left \| u \right \|_{\propto } = \max_{1\leq k\leq n}\left | u_{k} \right |$

 

 

 

이러한 Norm 은 딥러닝에서 과적합 문제를 해결할 때 사용하는 방법인 Regularizaiton 에서 Loss 함수를 다룰 때 사용하게 되는데, 보통 Loss 는 $l_{2}$ 를 많이 사용한다. 

 

 

 

 

 

 

참고자료 1 : freshrimpsushi.tistory.com/257

선형대수학에서 노름, 혹은 놈이란? Norm

참고자료 2 : taewan.kim/post/norm/

딥러닝을 위한 Norm, 노름