정리1
영이 아닌 모든 유한차원의 내적공간은 정규직교기저를 갖는다.
$W$를 영이 아닌 임의의 유한차원인 내적공간이라 하고 $S = \left\{\mathbf{u}_{1}, \mathbf{u}_{2}, \cdots, \mathbf{u}_{r} \right\}$을 $W$의 임의의 기저라 하자.
다음 단계에 따라서 $W$의 직교기저 $\left\{\mathbf{v}_{1}, \mathbf{v}_{2}, \cdots, \mathbf{v}_{r} \right\}$을 만들기로 한다.
단계 1
$\mathbf{v}_{1} = \mathbf{u}_{1}$이라 놓는다.
단계 2
$\mathbf{v}_{1}$을 생성하는 공간 $W_{1}$에 직교하는 $\mathbf{u}_{2}$의 성분을 계산하여 $\mathbf{v}_{1}$에 직교하는 벡터 $\mathbf{v}_{2}$를 구할 수 있다. 즉, $$\mathbf{v}_{2} = \mathbf{u}_{2} - \mathrm{proj}_{W_{1}}\mathbf{u}_{2} = \mathbf{u}_{2} - \frac{\left<\mathbf{u}_{2}, \mathbf{v}_{1} \right>}{\left\|\mathbf{v}_{1} \right\|^{2}}\mathbf{v}_{1} $$
이때 $\mathbf{v} \neq \mathbf{0}$이다.
( $\because$ $\mathbf{v} = \mathbf{0}$이면 $\mathbf{u}_{2} = \frac{\left<\mathbf{u}_{2}, \mathbf{v}_{1} \right>}{\left\|\mathbf{v}_{1} \right\|^{2}}\mathbf{v}_{1} = \frac{\left<\mathbf{u}_{2}, \mathbf{v}_{1} \right>}{\left\|\mathbf{v}_{1} \right\|^{2}}\mathbf{u}_{1} $이므로 $S$의 일차독립성에 모순이다.)
단계 3
$\mathbf{v}_{1}$과 $\mathbf{v}_{2}$가 생성하는 공간 $W_{2}$에 직교하는 $\mathbf{u}_{3}$의 성분을 계산하여 벡터 $\mathbf{v}_{3}$를 구한다. 즉, $$\mathbf{v}_{3} = \mathbf{u}_{3} - \mathrm{proj}_{W_{2}}\mathbf{u}_{3} = \mathbf{u}_{3} - \frac{\left<\mathbf{u}_{3}, \mathbf{v}_{1} \right>}{\left\|\mathbf{v}_{1} \right\|^{2}}\mathbf{v}_{1} - \frac{\left<\mathbf{u}_{3}, \mathbf{v}_{2} \right>}{\left\|\mathbf{v}_{2} \right\|^{2}}\mathbf{v}_{2} $$
단계 2와 마찬가지로 $S$의 일차독립성에 의하여 $\mathbf{v} \neq \mathbf{0}$이다.
이러한 방식으로 $r$번을 반복하면 직교벡터집합 $\left\{\mathbf{v}_{1}, \mathbf{v}_{2}, \cdots, \mathbf{v}_{r} \right\}$을 얻을 수 있다.
직교집합은 일차독립이므로 $r$차원의 공간 $W$의 직교기저가 된다.
(내적공간-직교집합과 사영정리편 정리1 참고)
기저벡터들을 정규화함으로써 정규직교기저를 얻을 수 있다.
정의1
위의 증명에서처럼 직교(또는 정규직교)기저를 단계적으로 구성하는 방법을 그람-슈미트 과정(Gram-Schmidt process)이라 한다.
정리2
만약 $W$가 유한차원의 내적공간이라면
1. $W$ 안의 모든 영이 아닌 직교집합은 $W$에 대한 직교기저로 확장될 수 있다.
2. $W$ 안의 모든 정규직교집합은 $W$에 대한 정규직교기저로 확장될 수 있다.
pf)
$S = \left\{\mathbf{v}_{1}, \mathbf{v}_{2}, \cdots, \mathbf{v}_{s} \right\}$가 $W$ 안의 벡터들의 영이 아닌 직교집합이라 하자.
이때 $S$를 $r$차원의 공간 $W$ 안의 어떤 기저로 확장할 수 있다.
(좌표와 기저-좌표, 기저, 차원편 정리5 참고)
$S' = \left\{\mathbf{v}_{1}, \mathbf{v}_{2}, \cdots, \mathbf{v}_{s}, \mathbf{v}_{s+1} ,\cdots, \mathbf{v}_{r} \right\}$
이때 그람-슈미트 과정을 집합 $S'$에 적용하면
$S'' = \left\{\mathbf{v}_{1}, \mathbf{v}_{2}, \cdots, \mathbf{v}_{s}, \mathbf{v}'_{s+1} ,\cdots, \mathbf{v}'_{r} \right\} $
인 $W$의 직교기저를 얻을 수 있다.
$S = \left\{\mathbf{v}_{1}, \mathbf{v}_{2}, \cdots, \mathbf{v}_{s} \right\}$가 $W$ 안의 벡터들의 정규직교집합이라 하자.
이때 $S$를 $r$차원의 공간 $W$ 안의 어떤 기저로 확장할 수 있다.
(좌표와 기저-좌표, 기저, 차원편 정리5 참고)
$S' = \left\{\mathbf{v}_{1}, \mathbf{v}_{2}, \cdots, \mathbf{v}_{s}, \mathbf{v}_{s+1} ,\cdots, \mathbf{v}_{r} \right\}$
이때 그람-슈미트 과정을 집합 $S'$에 적용하면
$S'' = \left\{\mathbf{v}_{1}, \mathbf{v}_{2}, \cdots, \mathbf{v}_{s}, \mathbf{v}'_{s+1} ,\cdots, \mathbf{v}'_{r} \right\} $
인 $W$의 정규직교기저를 얻을 수 있다.
보조정리1
$S = \left\{\mathbf{u}_{1}, \mathbf{u}_{2}, \cdots, \mathbf{u}_{n} \right\}$을 일차독립집합이라 하고 $S = \left\{\mathbf{q}_{1}, \mathbf{q}_{2}, \cdots, \mathbf{q}_{n} \right\}$을 그람-슈미트 방법을 적용하여 얻어진 정규직교 집합이라 하자.
1. $i < j$이면 $\left<\mathbf{u}_{i}, \mathbf{q}_{j} \right> = 0$
2. $\left<\mathbf{u}_{i}, \mathbf{q}_{i} \right> \neq 0$
pf)
그람-슈미트 방법에서 볼 수 있듯이 $$\mathbf{u}_{1} = \mathbf{v}_{1}$$ $$\mathbf{u}_{2} = \frac{\left<\mathbf{v}_{2}, \mathbf{v}_{1} \right>}{\left\|\mathbf{v}_{1} \right\|^{2}}\mathbf{v}_{1} + \mathbf{v}_{2} $$ $$\mathbf{u}_{3} = \frac{\left<\mathbf{u}_{3}, \mathbf{v}_{1} \right>}{\left\|\mathbf{v}_{1} \right\|^{2}}\mathbf{v}_{1} + \frac{\left<\mathbf{u}_{3}, \mathbf{v}_{2} \right>}{\left\|\mathbf{v}_{2} \right\|^{2}}\mathbf{v}_{2} + \mathbf{v}_{3} $$
이다. 즉 $\mathbf{u}_{i}$는 $\mathbf{v}_{1}, \mathbf{v}_{2}, \cdots, \mathbf{v}_{i}$의 일차결합으로 표현된다. 이때 $\mathbf{v}_{i}$의 계수는 $1$이다.
$\therefore$ $i < j$이면 $\left<\mathbf{u}_{i}, \mathbf{v}_{j} \right> = 0$
따라서 $i < j$이면 $$ \left<\mathbf{u}_{i}, \mathbf{q}_{j} \right> = \left<\mathbf{u}_{i}, \frac{\mathbf{v}_{j}}{\left\|\mathbf{v}_{j} \right\|} \right> = \frac{1}{\left\|\mathbf{v}_{j} \right\|}\left<\mathbf{u}_{i}, \mathbf{v}_{j} \right> = 0$$
1.에 의하여 $$\left<\mathbf{u}_{i}, \mathbf{q}_{i} \right> = \left<\mathbf{u}_{i}, \frac{\mathbf{v}_{i}}{\left\|\mathbf{v}_{i} \right\|} \right> = \frac{1}{\left\|\mathbf{v}_{i} \right\|}\left<\mathbf{u}_{i}, \mathbf{v}_{i} \right> = \frac{1}{\left\|\mathbf{v}_{i} \right\|} \left<\mathbf{v}_{i}, \mathbf{v}_{i} \right> = \left\|\mathbf{v}_{i} \right\| \neq 0 $$
정리3 $QR$-분해
$A$가 일차독립인 열벡터를 갖는 $m \times n$ 행렬이고 $Q$가 그람-슈미트 방법을 통하여 얻은 정규직교 열벡터를 갖는 $m \times n$ 행렬이며 $R$이 가역인 상삼각행렬일 때 $A$는
$$A = QR$$
로 인수분해될 수 있다.
$A$의 열벡터를 $\mathbf{u}_{1}, \mathbf{u}_{2}, \cdots, \mathbf{u}_{n}$, $Q$의 열벡터를 $\mathbf{q}_{1}, \mathbf{q}_{2}, \cdots, \mathbf{q}_{n}$이라 하자. 즉,
$A = \left [ \; \mathbf{u}_{1} \; | \; \mathbf{u}_{2} \; | \; \cdots \; | \; \mathbf{u}_{n} \; \right ]$, $Q = \left [ \; \mathbf{q}_{1} \; | \; \mathbf{q}_{2} \; | \; \cdots \; | \; \mathbf{q}_{n} \; \right ]$
이다.
이때 $\mathbf{q}_{1}, \mathbf{q}_{2}, \cdots, \mathbf{q}_{n}$은 $\mathbf{u}_{1}, \mathbf{u}_{2}, \cdots, \mathbf{u}_{n}$이 생성하는 공간의 정규직교기저이므로
$\mathbf{u}_{1} = \left<\mathbf{u}_{1}, \mathbf{q}_{1} \right>\mathbf{q}_{1} + \left<\mathbf{u}_{1}, \mathbf{q}_{2} \right>\mathbf{q}_{2} + \cdots + \left<\mathbf{u}_{1}, \mathbf{q}_{n} \right>\mathbf{q}_{n}$
$\mathbf{u}_{2} = \left<\mathbf{u}_{2}, \mathbf{q}_{1} \right>\mathbf{q}_{1} + \left<\mathbf{u}_{2}, \mathbf{q}_{2} \right>\mathbf{q}_{2} + \cdots + \left<\mathbf{u}_{2}, \mathbf{q}_{n} \right>\mathbf{q}_{n}$
$\vdots$
$\mathbf{u}_{n} = \left<\mathbf{u}_{n}, \mathbf{q}_{1} \right>\mathbf{q}_{1} + \left<\mathbf{u}_{n}, \mathbf{q}_{2} \right>\mathbf{q}_{2} + \cdots + \left<\mathbf{u}_{n}, \mathbf{q}_{n} \right>\mathbf{q}_{n}$
으로 표현된다.
(내적공간-직교집합과 사영정리편 정리2 참고)
따라서 위는
$\left [ \; \mathbf{u}_{1} \; | \; \mathbf{u}_{2} \; | \; \cdots \; | \; \mathbf{u}_{n} \; \right ] = \left [ \; \mathbf{q}_{1} \; | \; \mathbf{q}_{2} \; | \; \cdots \; | \; \mathbf{q}_{n} \; \right ]
\begin{bmatrix}
\left<\mathbf{u}_{1}, \mathbf{q}_{1} \right> & \left<\mathbf{u}_{2}, \mathbf{q}_{1} \right> & \cdots & \left<\mathbf{u}_{n}, \mathbf{q}_{1} \right> \\
\left<\mathbf{u}_{1}, \mathbf{q}_{2} \right> & \left<\mathbf{u}_{2}, \mathbf{q}_{2} \right> & \cdots & \left<\mathbf{u}_{n}, \mathbf{q}_{2} \right> \\
\vdots & \vdots & & \vdots \\
\left<\mathbf{u}_{1}, \mathbf{q}_{n} \right> & \left<\mathbf{u}_{2}, \mathbf{q}_{n} \right> & \cdots & \left<\mathbf{u}_{n}, \mathbf{q}_{n} \right> \\
\end{bmatrix}$
또는 간단히
$A = QR$
로 표현 될 수 있다. 이때 보조정리1에 의하여
$R = \begin{bmatrix}
\left<\mathbf{u}_{1}, \mathbf{q}_{1} \right> & \left<\mathbf{u}_{2}, \mathbf{q}_{1} \right> & \cdots & \left<\mathbf{u}_{n}, \mathbf{q}_{1} \right> \\
0 & \left<\mathbf{u}_{2}, \mathbf{q}_{2} \right> & \cdots & \left<\mathbf{u}_{n}, \mathbf{q}_{2} \right> \\
\vdots & \vdots & & \vdots \\
0 & 0 & \cdots & \left<\mathbf{u}_{n}, \mathbf{q}_{n} \right> \\
\end{bmatrix}$
형태를 가진다. $R$은 상삼각형렬이고 주대각선의 원소는 모두 $0$이 아니다. 즉, $R$은 가역이다.
보조정리2
$Q$를 정규직교 열벡터를 갖는 $m \times n$행렬이라 하면
$Q^{T}Q = I$
(이때 내적은 유클리드 내적으로 정의된다.)
$Q$의 열벡터를 $\mathbf{q}_{1}, \mathbf{q}_{2}, \cdots, \mathbf{q}_{n}$이라 하면
$Q^{T}Q = \begin{bmatrix}
\mathbf{q}_{1} \cdot \mathbf{q}_{1} & \mathbf{q}_{1} \cdot \mathbf{q}_{2} & \cdots & \mathbf{q}_{1} \cdot \mathbf{q}_{n} \\
\mathbf{q}_{2} \cdot \mathbf{q}_{1} & \mathbf{q}_{2} \cdot \mathbf{q}_{2} & \cdots & \mathbf{q}_{2} \cdot \mathbf{q}_{n} \\
\vdots & \vdots & & \vdots \\
\mathbf{q}_{n} \cdot \mathbf{q}_{1} & \mathbf{q}_{n} \cdot \mathbf{q}_{2} & \cdots & \mathbf{q}_{n} \cdot \mathbf{q}_{n} \\
\end{bmatrix} = I$
'선형대수학 > 응용' 카테고리의 다른 글
| 이차형식을 이용한 최적화 (0) | 2023.12.19 |
|---|---|
| 최적근사 : 최소제곱 (0) | 2023.12.19 |