이차형식을 이용한 최적화

 

정리1

$A$가 $n \times n$ 대칭행렬이고 이것의 고유값이 감소하는 크기의 순서로 $\lambda _{1} \geq \lambda _{2} \geq \cdots \geq \lambda _{n}$이라면

1.  이차형식 $\mathbf{x}^{T}A\mathbf{x}$은 $\left\|\mathbf{x} \right\| = 1$인 벡터의 집합상에서 최대값과 최소값을 갖는다.

2.  1.에서 구한 최대값은 고유값 $\lambda_{1}$에 대응하는 단위고유벡터에서 존재한다.

3.  1.에서 구한 최소값은 고유값 $\lambda_{n}$에 대응하는 단위고유벡터에서 존재한다.

 

  Show 1 : $\left\|\mathbf{x} \right\| = 1$인 벡터의 집합상에서 $\lambda_{n} \leq \mathbf{x}^{T}A\mathbf{x} \leq \lambda_{1}$

  $A$가 대칭행렬이므로

  $\mathbf{x}^{T}A\mathbf{x} = \mathbf{y}^{T}A\mathbf{y} = \lambda_{1}{y_{1}}^{2} + \lambda_{2}{y_{2}}^{2} + \cdots + \lambda_{n}{y_{n}}^{2}$

  을 만족하는 직교변수변환 $\mathbf{x} = P \mathbf{y}$이 존재한다. 이때 $P$의 열벡터가

  $\lambda _{1} \geq \lambda _{2} \geq \cdots \geq \lambda _{n}$

  가 되도록 나열되었다고 하자.

  $P$가 직교행렬이므로 $\left\|\mathbf{x} \right\| = 1$인 경우에 

  $\left\|\mathbf{y} \right\| = \left\|P\mathbf{y} \right\| = \left\|\mathbf{x} \right\| = 1$

  이다. 즉,

  $y_{1}^{2} + y_{2}^{2} + \cdots + y_{n}^{2} = 1 $

  이다. 이때

  $\lambda_{n} = \lambda _{n}(y_{1}^{2} + y_{2}^{2} + \cdots + y_{n}^{2}) \leq \lambda_{1}y_{1}^{2} + \lambda_{2}y_{2}^{2} + \cdots + \lambda_{n}y_{n}^{2} \leq \lambda_{1}(y_{1}^{2} + y_{2}^{2} + \cdots + y_{n}^{2}) = \lambda_{1}$

 

  이므로 

  $\lambda_{n} \leq \mathbf{x}^{T}A\mathbf{x} \leq \lambda_{1}$

  이다.

 

  Show 2 : 최대값은 고유값 $\lambda_{1}$에 대응하는 단위고유벡터에서 존재

  $\mathbf{x}$를 $\lambda_{1}$에 대응하는 단위고유벡터라 하면

  $\mathbf{x}^{T}A\mathbf{x} = \mathbf{x}^{T}(\lambda_{1}\mathbf{x}) = \lambda_{1}\mathbf{x}^{T}\mathbf{x} = \lambda_{1}\left\|\mathbf{x} \right\|^{2} = \lambda_{1}$

 

  Show 3 : 최소값은 고유값 $\lambda_{n}$에 대응하는 단위고유벡터에서 존재

  $\mathbf{x}$를 $\lambda_{n}$에 대응하는 단위고유벡터라 하면

  $\mathbf{x}^{T}A\mathbf{x} = \mathbf{x}^{T}(\lambda_{n}\mathbf{x}) = \lambda_{n}\mathbf{x}^{T}\mathbf{x} = \lambda_{n}\left\|\mathbf{x} \right\|^{2} = \lambda_{n}$

 

 

 

정리2 이차도함수 판정법

$(x_{0}, y_{0})$를 $f(x,y)$의 임계점이라 하고 $f$는 $(x_{0}, y_{0})$가 중심인 적당한 원 영역에서 연속인 이차편도함수를 갖는다고 하면

1.  만일

$f_{xx}(x_{0}, y_{0})f_{yy}(x_{0}, y_{0}) - f_{xy}^{2}(x_{0}, y_{0}) > 0$  이고  $ f_{xx}(x_{0}, y_{0}) > 0$

이면 $f$는 $(x_{0}, y_{0})$에서 극소값을 갖는다.

2.  만일

$f_{xx}(x_{0}, y_{0})f_{yy}(x_{0}, y_{0}) - f_{xy}^{2}(x_{0}, y_{0}) > 0$  이고  $f_{xx}(x_{0}, y_{0}) < 0$

이면 $f$는 $(x_{0}, y_{0})$에서 극대값을 갖는다.

3.  만일

$f_{xx}(x_{0}, y_{0})f_{yy}(x_{0}, y_{0}) - f_{xy}^{2}(x_{0}, y_{0}) < 0$

이면 $f$는 $(x_{0}, y_{0})$에서 안장점을 갖는다.

4.  만일

$f_{xx}(x_{0}, y_{0})f_{yy}(x_{0}, y_{0}) - f_{xy}^{2}(x_{0}, y_{0}) = 0$

이면 이 방법으로 판정할 수 없다.

 

# 증명생략

 

 

 

정의1

$$H(x, y) = \begin{bmatrix}
f_{xx}(x, y) & f_{xy}(x, y) \\
f_{xy}(x, y) & f_{yy}(x, y) \\
\end{bmatrix}$$

를 $f$의 헤시언(Hessian) 또는 헤시언 행렬이라 한다.

 

 

 

따름정리 이차도함수 판정법의 헤시언 형태

$(x_{0}, y_{0})$를 $f(x,y)$의 임계점이라 하고 $f$는 $(x_{0}, y_{0})$가 중심인 적당한 원 영역에서 연속인 이차편도함수를 갖는다고 하자. $H(x_{0}, y_{0})$가 $(x_{0}, y_{0})$에서 $f$의 헤시언일 때

1.  $H(x_{0}, y_{0})$가 양의 정부호이면 $f$는 $(x_{0}, y_{0})$에서 극소값을 갖는다.

2.  $H(x_{0}, y_{0})$가 음의 정부호이면 $f$는 $(x_{0}, y_{0})$에서 극대값을 갖는다.

3.  $H(x_{0}, y_{0})$가 부정이면 $f$는 $(x_{0}, y_{0})$에서 안장점을 갖는다.

4.  이외의 다른 경우에는 이 판정법으로 판정할 수 없다.