元バイオ系

元バイオウェット系がデータサイエンスやらを勉強していくブログ。基本自分用のまとめ。

【数理統計】ラオーブラックウェル化（Rao-Blackwellization）

統計

理解したいのはこっちでした。

本質的には同じ問題だけど。

ラオーブラックウェル化（Rao-Blackwellization）は、条件付き期待値を利用して期待値を計算する方法です。

サンプルが独立なら、ブラックウェルーラオの定理より直接期待値を計算するより精度が良くなる事が保証されます（不思議）。

名前の順番がひっくり返っているのは知りません（書籍でこう書いてあったからそのまま書いてます）

ブラックウェルーラオの定理の証明はこちら

hotoke-x.hatenablog.com

ラオーブラックウェル化（Rao-Blackwellization）

確率変数 $\boldsymbol{x}$ を二つのブロックに分割し、 $\boldsymbol{x} = (\boldsymbol{x_1}, \boldsymbol{x_2}) (x_i \in \chi_i)$ と表す。このとき、 $x_1$ の統計量の期待値

f:id:hotoke-X:20180322193210p:plain

を求めることを考えます。

$\pi (\boldsymbol{x_1}, \boldsymbol{x_2})$ からサンプリングされた $\left( \boldsymbol{x^{(1)}}, \ldots, \boldsymbol{x^{(t_0 + T)}} \right)$ を用いれば、上式の期待値は以下のように計算できます。

$\displaystyle \hat I = \frac{1}{T} \sum_{t=1}^{T} g(\boldsymbol{x_1^{(t_0 + T)}})$

ここで、 $\boldsymbol{x^{(t)}} = \left(\boldsymbol{x_1^{(t)}}, \boldsymbol{x_2^{(t)}} \right)$ であることに注意。

さらに $\boldsymbol{x_2}$ の条件付き分布で同時分布を分解すると

f:id:hotoke-X:20180322194353p:plain

となるので、この式の真ん中部分

$\displaystyle h(\boldsymbol{x_2}) = \boldsymbol{\mathrm{E}} \left[g(\boldsymbol{x_1}) | \boldsymbol{x_2} \right] = \int_{\chi_1} g(\boldsymbol{x_1})\pi(\boldsymbol{x_1} | \boldsymbol{x_2}) \mathrm{d}\boldsymbol{x_1}$

を解析的に求められれば、

$\displaystyle \hat I_{RB} = \frac{1}{T} \sum_{t=1}^{T} h(\boldsymbol{x_2}^{(t_0 + t)})$

によって計算できる。

なんだ面倒くさいと思うが、実はラオーブラックウェルの定理から

$\displaystyle \boldsymbol{\mathrm{V}} (\hat I) \geq \boldsymbol{\mathrm{V}} (\hat I_{RB})$

が成立し、より良い推定値になり得ることがわかる。

参考書籍

応用を目指す数理統計学（国友直人）
ベイズ計算統計学（古澄英男）