특이값 분해(Singular Value Decomposition)란 무엇인가? PyTorch, TensorFlow, Numpy 사용해 특이값 분해하기

특이값 분해란 무엇인가?

특이값 분해(Singular Value Decomposition, SVD)란 $m x n$ 차원의 행렬을 대각화해 세 개의 행렬로 분해하는 방법이다. 고유값 분해와 비슷하지만, 고유값 분해는 정사각 행렬에만 사용 가능한 반면, 특이값 분해는 직사각 행렬일 때도 사용 가능해 활용도가 높다.

특이값 분해를 수식으로 표현하면 다음과 같다.

$$\mathbf{X} = \mathbf{U} \mathbf{\Sigma} \mathbf{V}^T$$

여기서 각 기호는 다음과 같다.

$\mathbf{X}$ : $m \times n$ 행렬.

$\mathbf{U}$ : $m \times m$ 정사각 행렬로, $\mathbf{X}$의 좌특이 벡터(Left Singular Vectors)로 구성돼 직교 행렬이 된다

$\mathbf{\Sigma}$: $m \times n$ 대각 행렬

$\mathbf{V}$: $n \times n$ 정사각 행렬로, $\mathbf{X}$의 우특이 벡터(Left Singular Vectors)로 구성돼 직교 행렬이 된다.

특이값 분해 하는 방법

다음 행렬 $\mathbf{X}$에 대해 특이값 분해를 수행하면서 특이값 분해를 하는 방법을 알아본다.

$$\begin{bmatrix}
1 & 2 \\
-1 & 2 \\
0 & 1
\end{bmatrix}$$

$\mathbf{U}$ 구하기

$\mathbf{U}$ 를 구하기 위해서는 $\mathbf{X}\mathbf{X^T}$의 고유 벡터를 구해야 한다. 여기서 나오는 고유 벡터들이 $\mathbf{U}$가 된다.

A = np.array([[1, 2], [-1, 2], [0, 1]])
eigenValues, U = np.linalg.eig(np.dot(A,A.T))
print("U: ",U)

U:  [[-6.66666667e-01 -7.07106781e-01 -2.35702260e-01]
 [-6.66666667e-01  7.07106781e-01 -2.35702260e-01]
 [-3.33333333e-01 -5.78537465e-17  9.42809042e-01]]

$\mathbf{\Sigma}$ 구하기

$\mathbf{\Sigma}$ 는 $\mathbf{X}\mathbf{X^T}$나 $\mathbf{X^T}\mathbf{X}$의 고유값이다. 둘은 같은 고유값을 가지기 때문에 같은 값이 된다. 앞서 구한 eigenValue에 루트를 씌워 구해보자.

A = np.array([[1, 2], [-1, 2], [0, 1]])
eigenValues, U = np.linalg.eig(np.dot(A,A.T))
print("U: ",U)
print("eigenValuesRoot", np.sqrt(eigenValues))

그러면 다음과 같은 값이 나온다. 여기서 세번째 값이 매우 작은 값으로 0인 것을 볼 수 있으니, 고유값에 루트를 취한 값은 3.0과 1.414인 것을 볼 수 있다.

eigenValuesRoot [3.00000000e+00 1.41421356e+00 3.22909121e-09]

$\mathbf{V}$ 구하기

$\mathbf{V}$ 를 구하기 위해서는 $\mathbf{X^T}\mathbf{X}$의 고유 벡터를 구해야 한다. 여기서 나오는 고유 벡터들이 $\mathbf{V}$가 된다.

eigenValues2, V = np.linalg.eig(np.dot(A.T,A))
print("V:", V)
print("eigenValuesRoot", np.sqrt(eigenValues2))

그러면 결과값은 다음과 같은 것을 볼 수 있다.

V: [[1. 0.]
 [0. 1.]]
eigenValuesRoot [1.41421356 3.        ]

여기서 보면 고유값에 루트를 취한 값(eigenValuesRoot)이 위에서 구한 3.0과 1.414과 같은 값인 것을 볼 수 있다.

구한 값으로 원래 행렬 계산해보기

이제 $\mathbf{U}$, $\mathbf{\Sigma}$, $\mathbf{V}$ 를 구했으니, 구한 값으로 원래 행렬을 계산해보자.

$$\mathbf{X} = \mathbf{U} \mathbf{\Sigma} \mathbf{V}^T$$

위의 수식을 계산해야 하므로, 다음과 같이 파이썬 코드를 만들 수 있다.

Sigma = np.concatenate((np.diag(np.sqrt(eigenValues)[:-1]), [[0, 0]]), axis=0)
np.matmul(np.matmul(U, Sigma), VT)

그러면 다음과 같은 결과가 나온다.

결과의 행렬이 우리가 특이값 분해를 실행한 행렬과 같은 것을 볼 수 있다.

$$\begin{bmatrix}
1 & 2 \\
-1 & 2 \\
0 & 1
\end{bmatrix}$$

하지만, 위와 같이 특이값 분해를 실행하면 너무 복잡하다. 머신러닝 라이브러리들에서는 이를 위한 간단한 방법을 제공한다. 이어서 그 방법들을 알아보자.

Numpy, TensorFlow, PyTorch 사용해 특이값 분해하기

Numpy 사용해 특이값 분해하기

Numpy 사용해 특이값 분해를 하려면 linalg패키지의 svd 함수를 사용하면 된다.

import numpy as np

A = np.array([[1, 2], [-1, 2], [2, 3]])
U, d, VT = np.linalg.svd(A)
print("U:",U)
print("V:",VT.T)

그러면 다음과 같은 값이 나온다.

U: [[-0.50395811  0.0600165  -0.86164044]
 [-0.32223601 -0.93862263  0.12309149]
 [-0.80136769  0.33968453  0.49236596]]
V: [[-0.40266324  0.91534819]
 [-0.91534819 -0.40266324]]

이 값들은 $\mathbf{A}\mathbf{A^T}$ 에 대한 고유 값 분해를 한 것과 같은 비슷한 결과를 내는 것을 볼 수 있다.

eigenValues, V3 = np.linalg.eig(np.dot(A,A.T))
print("Eigen V3: ",V3)

eigenValues, V2 = np.linalg.eig(np.dot(A.T,A))
print("Eigen V2:", V2)

Eigen V3:  [[ 0.50395811  0.86164044  0.0600165 ]
 [ 0.32223601 -0.12309149 -0.93862263]
 [ 0.80136769 -0.49236596  0.33968453]]
Eigen V2: [[-0.91534819 -0.40266324]
 [ 0.40266324 -0.91534819]]

TensorFlow 사용해 특이값 분해하기

같은 연산을 TensorFlow를 사용해 하려면 linalg.svd 함수를 사용하면 된다.

import tensorflow as tf

A = tf.constant([[1, 2], [-1, 2], [2, 3]], dtype=tf.float32)

S, U, VT = tf.linalg.svd(A, full_matrices=True)

print("V:", tf.transpose(VT))
print("U:", U)

그러면 같은 결과가 나오는 것을 볼 수 있다.

V: tf.Tensor(
[[ 0.40266326  0.91534823]
 [ 0.91534823 -0.40266326]], shape=(2, 2), dtype=float32)
U: tf.Tensor(
[[ 0.50395805  0.06001655 -0.86164033]
 [ 0.322236   -0.9386227   0.12309146]
 [ 0.8013677   0.33968455  0.49236602]], shape=(3, 3), dtype=float32)

PyTorch 사용해 특이값 분해하기

같은 연산을 PyTorch를 사용해 하려면 svd 함수를 사용하면 된다.

import torch

A = torch.tensor([[1, 2], [-1, 2], [2, 3]], dtype=torch.float32)

U, S, VT = torch.svd(A)

print("V:", VT.T)
print("U:", U)