Machine Learning Math/Linear Algebra

직교 행렬(Orthogonal Matrix)이란 무엇인가?

직교 행렬이란?직교 행렬이란 각 행과 열의 크기가 1이고, 각 행 벡터들이 서로 직교하고, 열 벡터들도 서로 직교하는 정사각 행렬이다. 즉, 다음 두가지 조건을 만족하는 행렬이다. 1. 행과 열의 크기가 1이다. 2. 행 벡터들끼리 서로 직교하며, 열 벡터들끼리 서로 직교한다. 직교 벡터(Orthogonal Vector)는 서로 직교하는 벡터이고, 정규 직교 벡터(Orthonormal Vector)는 각 직교하는 벡터들의 크기가 1인 벡터를 뜻하는 것을 생각해보면, 직교 행렬은 정규 직교 벡터(Orthonormal Vector)들을 행렬에 집어 넣은 것과 같다.이름이 정규 직교 행렬(Orthonormal Matrix)이어야 할 것 같은데 직교 행렬(Orthogonal Matrix)라 표현해서 조금 헷갈린..

대각 행렬(Diagonal Matrix) 한 번에 정리하기

대각 행렬이란?대각 행렬(Diagonal Matrix)은 행렬의 주 대각선(diagonal)을 제외한 모든 원소가 0인 정사각 행렬이다.대각 행렬은 다음과 같은 형태를 가진다: $\mathbf{D} = \begin{bmatrix}d_{11} & 0 & \cdots & 0 \\0 & d_{22} & \cdots & 0 \\\vdots & \vdots & \ddots & \vdots \\0 & 0 & \cdots & d_{nn}\end{bmatrix}$ 대각 행렬의 특징대각 행렬은 다음과 같은 특징을 가진다. 1. 대각선 외의 모든 원소가 0이다. $d_{ii}$ 외의 모든 원소는 0이다.예를 들어 다음과 같은 모양은 가진다. $\mathbf{D} = \begin{bmatrix}3 & 0 & 0 \\0 & ..

역행렬(Inverse Matrix) 이란 무엇인가? Numpy, TensorFlow, PyTorch 에서 계산 방법 알아보기

역행렬이란?$\mathbf{X}$에 대한 역행렬(inverse matrix)은 정사각 행렬 $\mathbf{X}$와 곱했을 때 단위 행렬(Identity Matrix)가 되는 행렬을 말한다. $\mathbf{X}$에 대한 역행렬은 $\mathbf{X}^{-1}$로 표현되며, 수식으로는 다음과 같이 표현된다. $\mathbf{X} \cdot \mathbf{X}^{-1} = \mathbf{X}^{-1} \cdot \mathbf{X} = \mathbf{I}$ 역행렬의 존재 여부 판단하기역행렬은 원래의 행렬과 곱했을 때 단위 행렬이어야 하므로, 행과 열의 개수가 같은 정사각 행렬이어야 한다. 또 다른 조건은 행렬식(Determinant)이 0이 아닌 값이어야 한다.   역행렬 계산 방식1. 행렬식과 수반 행렬..

가우스 조던 소거법(Gauss-Jordan Elimination) 알아보기

가우스 조던 소거법이란?가우스 조던 소거법(Gauss-Jordan elimination)은 선형 방정식의 해를 구하거나, 역행렬을 계산하는 데 사용되는 알고리즘이다. 이 방식은 다음 세가지 과정을 반복해 해를 구하는 방식이다.1. 행 교환(Row Exchange): 두 행을 교환하여 주 대각선 요소(pivot element)가 0이 아닌 값이 되도록 한다.2. 스케일링(Scaling): 주 대각선 요소가 1이 되도록 행의 모든 요소를 동일한 값으로 나눕니다.3. 행 덧셈(Row Addition): 다른 행의 요소를 사용하여 주 대각선 요소 외의 열의 모든 요소를 0으로 만듭니다. 각 과정이 어떻게 사용되는지 알아보기 위해 예제를 통해 이해해보자. 가우스 조던 소거법 예제다음과 같은 행렬의 역행렬을 구하기..

대칭 행렬(Symmetric Matrix)와 단위 행렬(Identity Matrix) 한 번에 정리하기: Numpy, TensorFlow, PyTorch 사용해 단위 행렬 만들기

대칭 행렬대칭 행렬(Symmetric Matrix)은 전치 행렬((Tranposed Matrix)과 원래 행렬이 같은 행렬을 의미한다. 즉, 행렬 $X$가 대칭 행렬이라면 $X = X^T$가 성립한다. 행렬이 Transpose 되었을 때 동일하기 때문에, $x_{ij}$와 $x_{ji}$의 원소가 같다.  대칭 행렬은 다음과 같은 모양을 갖는다.  $X = \begin{bmatrix}x_{11} & x_{12} & x_{13} \\x_{12} & x_{22} & x_{23} \\x_{13} & x_{23} & x_{33}\end{bmatrix}$ Identity Matrix (단위 행렬)단위 행렬은 대각선 원소가 모두 1이고, 나머지 원소는 모두 0인 정사각 행렬이다. 단위 행렬은 보통 $I$로 표기되며..