【数理統計】最尤推定量とバイアス
尤度
尤度については
を参照。
例によって離散か連続かはあまり気にせず書きます。
尤度関数とは、母集団分布からの独立標本が得られたとき、確率関数から同時確率関数を母数の関数と見た
$$L_n (\theta | x_1, \ldots, x_n) = \prod_{i=1}^{n} p(x_i | \theta) $$
のことでした[1]。
この尤度関数を最大にするようなの値を最尤推定値といい、その推定量を最尤推定量(maximum likelihood estimator, MLE)と呼びます。私の読むレベルの文献ではと書かれていることが多いです。
最尤推定
最尤推定すれば未知母数の推定もうまくいきそうですが本当にそうでしょうか。百聞は一見に如かずということで確かめてみます。
ここで、正規分布の平均と分散を未知として、最尤推定する問題を考えます。
母集団分布を平均、分散の正規分布とする。標本を独立にn個サンプリングし、観測値が得られたとするとその尤度関数は
で与えられ、その対数尤度関数は
となります。
母数で微分して、について解けば母数についての最尤推定量が得られます。
この推定量を使って、分散も推定ができます。そしてこの推定量を使って他の推定量を得るという作業に落とし穴があるので注意(後述)。
が得られ、について解くと
が得られます。
が得られました。
バイアス
先ほどの最尤推定量を得る過程で推定量を使って他の推定量を得るなんて少し怪しいことをしたわけですが、怪しいという直感は当たっていて、分散は不偏推定量になっていません。不偏というのは推定量が真の母数の周りに対称に分布することを言います。 つまり、不偏でない推定量は母数を過小(あるいは過大)評価することを意味します。
推定量と母数の二乗誤差の期待値(mean square error, MSE)を計算して見ると
となり、右辺第二項の分推定量が偏ることがわかります。不偏推定量であればこのバイアス項は0になります。数学アレルギー勢にために一応説明しておくと、は分散(Variance)という意味です。
先ほどの正規分布の例で、分散の最尤推定量が不偏推定量になっていないというのはこのバイアス項が0にならないことを意味しています。
それは困ったと思うかもしれませんが、どの程度偏っているかわかっているなら補正すればよいだけです。
分散の最尤推定量の期待値を計算してみると(計算は気が向くか、コメントいただければまた書きます(mathjax疲れた))
となり、倍だけ過小評価されている事がわかります。
じゃあ最尤推定値をこの分だけ補正して母数を推定すれば良いのです。
統計で習う分散の式が
となっているのはこの為です。
式だけでいきなり「ほぉそうか」と納得できる人はこれで良いのですが、数学アレルギー勢は釈然としないと思います。
絵で描くとわかりやすいので、気が向いたら絵でも描こうと思います。
今日は疲れたのでこの辺で。
参考書籍
- 応用を目指す数理統計学(国友 直人)