元バイオ系

元バイオウェット系がデータサイエンスやらを勉強していくブログ。 基本自分用のまとめ。

2次形式の最大値と最小値

前回の記事で、固有値固有ベクトルについて書いた。

hotoke-x.hatenablog.com

この記事中にある正方行列の対角化を式変形すると、行列 \displaystyle Aのスペクトル分解(固有値分解)が得られ、これを使って2次形式の標準形が得られる。

正方行列のスペクトル分解(固有値分解)

正方行列 \displaystyle Aの対角化は以下のような式だった。

$$ \begin{align} \boldsymbol{P^{-1}AP} &= \boldsymbol{D} \\ &= \left(\begin{array}{cccc} \lambda_1 & 0 & \ldots & 0 \\ 0 & \lambda_2 & \ldots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \ldots & \lambda_n \end{array}\right) \end{align} $$

 \displaystyle P固有ベクトル \displaystyle Dは対応する固有値を対角成分に並べたものである。
これを式変形して、 \displaystyle Aのスペクトル分解を得る。

$$ \begin{align} \boldsymbol{A} &= \boldsymbol{P D P^{-1}} \end{align} $$

2次形式の標準形

正方行列のスペクトル分解を使うと、2次形式の標準形が得られる(2次形式と2次関数は別物なので注意)*。

まず、2次形式

$$ \begin{align} \boldsymbol{x^{T} A x} \end{align} $$

を考える。次に、ベクトル \displaystyle \boldsymbol{x}固有ベクトルを基底とする空間 \displaystyle \boldsymbol{P}に投げる。

$$ \begin{align} \boldsymbol{t} &= \boldsymbol{P x} \\ \boldsymbol{x} &= \boldsymbol{P^{T} t} \end{align} $$

これを2次形式の式に代入すれば

$$ \begin{align} \boldsymbol{x^{T} A x} &= \boldsymbol{\left(P^{T} t \right)^{T} A P^{T} t} \\ &= \boldsymbol{t^{T} P A P^{T} t} \\ &= \boldsymbol{t^{T} D t} \end{align} $$

となる。ただし

$$ \begin{align} \boldsymbol{P^{-1}} &= \boldsymbol{P^{T}} \\ \boldsymbol{P^{-1}AP} &=\boldsymbol{PAP^{-1}} = \boldsymbol{D} \end{align} $$

を利用した。これを2次形式の標準形と呼ぶ。ただ、固有値固有ベクトルを使って2次形式を書き直しただけである。

二次形式の最大値、最小値

 \displaystyle \boldsymbol{A}が半正定値対称行列なら、2次形式の最大値、最小値はそれぞれ \displaystyle \boldsymbol{A}の最大固有値、最小固有値に対応する。標準形を得ると、このように話がシンプルになる。

少々雑だったが、ここまでがよくある書籍の解説である。これですっきり理解できるならそれでよいが、なんで最大固有値、最小固有値が最大値、最小値に対応するのかイメージできないかもしれない。

2次形式の標準形の幾何学的解釈

これなら分かる最適化数学(金谷健一)、例題1.25、1.27より \displaystyle x^{2}+y^{2}=1の時

$$ \begin{align} f=6x^{2}+4xy+3y^{2} \end{align} $$

の最大値、最小値を考える。これを標準形に直すと

$$ \begin{align} f=2x' ^2 + 7y' ^2 \end{align} $$ となる。 \displaystyle x' \displaystyle y'固有ベクトル空間 \displaystyle \boldsymbol{P}で変換後の \displaystyle x \displaystyle y

$$ \begin{align} \boldsymbol{t} &= \boldsymbol{P x} \\ \boldsymbol{x} &= \left(\begin{array}{c} x \\ y \end{array}\right), \boldsymbol{t} = \left(\begin{array}{c} x' \\ y' \end{array}\right) \\ \end{align} $$

である。係数2と7は固有値になっている。

また、 \displaystyle x^{2}+y^{2}=1 x'^{2}+y'^{2}=1は同値である。

改めて標準形の式を眺めてみると、幾何学的には放物面に対応していることがわかる。実際にプロットしてみると

f:id:hotoke-X:20190103202346p:plain

となり、等高線が楕円になっていることがわかる。 \displaystyle \boldsymbol{x'^{2}+y'^{2}}=1に制限すれば、 \displaystyle x'=1のとき最小値2(最小固有値)、 \displaystyle y'=1のとき最大値7(最大固有値)になることがわかる。

*2次関数は2次以下の項からなる関数。2次形式は2次の項のみからなる関数。

参考書籍

  • 金谷健一(2005)「これなら分かる最適化数学」共立出版株式会社