특이값 분해는 정방행렬이 아닌 임의의 행렬을 특이값을 가진 행렬들로 분해하는 방법이다. 정방행렬의 고윳값 분해를 일반적인 행렬에 적용하는 것과 비슷하다. 이를테면 $m \times n$의 성분으로 이루어진 임의의 행렬 $X$에 대해

\begin{equation} X_{mn} = U_{mm} \Sigma_{mn} V^{\dagger}_{nn} \end{equation}

으로 분해하며, $U_{mm}$과 $V_{nn}$은 유니터리 행렬, $\Sigma_{mn}$는 특이값 $\sigma_n$들로 이루어진 행렬으로

\begin{equation} \Sigma_{mn}= \begin{pmatrix} \sigma_1 & 0 & \dots & & 0 \\ 0 & \sigma_2 & & & \\ \vdots & & \ddots & & \vdots \\ & & & \sigma_{n-1} & \\ 0 & & \dots & & \sigma_n \\ 0 & & \dots & & 0 \\ \vdots & & & & \vdots \\ 0 & & \dots & & 0 \end{pmatrix} \end{equation}

이 때 특이값 $\sigma_n \geq 0$ 이다. 주의할점은 지금의 상황에서는 $m > n$ 이다.

특이값 분해는 정방행렬의 고윳값 분해와 비슷하다 보니 두 분해간 밀접한 관계를 가진다. 이를테면 행렬 $X_{mn}$의 전치행렬 $X_{mn}^T$간 곱은 \begin{align} X_{mn}^T X_{mn} &= (U_{mm} \Sigma_{mn} V^{\dagger}_{nn})^T (U_{mm} \Sigma_{mn} V^{\dagger}_{nn}) \\ &= (V^{\dagger T} \Sigma^T U^T) (U\Sigma V^{\dagger}) \\ &= V\Sigma^T\Sigma V^{\dagger} \end{align} 으로 정방행렬에 대한 고윳값 분해와 같은 꼴이 된다. 따라서 행렬 $\Sigma$의 특이값을 $\sigma_i$, 고윳값을 $\lambda_i$이라고 하면 아래의 식이 성립한다.

\begin{equation} \lambda_i = \sigma_i^2 \end{equation}

앞의 행렬 $X_{mn}$에 대한 유사역행렬(pseudo-inverse matrix)을 $X^{+}$이라고 하면

\begin{equation} X^{+} = V \Sigma^{+} U^{\dagger} \end{equation}

이 때 $\Sigma^{+}$는 행렬 $\Sigma$를 전치후 0이 아닌 성분들에 대해 역수를 취한 행렬로, 앞의 $\Sigma_{mn}$의 경우

\begin{equation} \Sigma^{+}= \begin{pmatrix} \frac{1}{\sigma_1} & 0 & \dots & & 0 & 0 & \dots & 0 \\ 0 & \frac{1}{\sigma_2} & & & & \\ \vdots & & \ddots & & & \vdots & & \vdots \\ & & & \frac{1}{\sigma_{n-1}} & & & & \\ 0 & & \dots & & \frac{1}{\sigma_n} & 0 & \dots & 0 \\ \end{pmatrix} \end{equation}

유사 역행렬 $X^{+}$과 $X$를 곱하면

\begin{equation} X^{+}X = V^{\dagger}\Sigma^{+}\Sigma V = I \end{equation}

를 만족하여 $X^{+}$는 X의 역행렬이 된다. 주의할 점은 유사역행렬이라는 이름답게 $XX^{+}\neq I$이라는 점이다. 만약 행렬 $X$의 행과 열의 크기가 $m<n$인 경우, $XX^{+}=I$이며 $X^{+}X\neq I$이 된다. 이러한 특징으로 인해 유사역행렬은 아래 네가지의 관계식을 만족한다.

\begin{equation} \begin{aligned} XX^{+}X=X \qquad X^{+}XX^{+}=X^{+} \end{aligned}\\ \begin{aligned} \left(XX^{+}\right)^{\dagger} = XX^{+} \qquad \left(X^{+}X\right)^{\dagger} = X^{+}X \end{aligned} \end{equation}

• K.Cahill, Physical Mathematics, 2nd ed, 1.32~1.33