超バイオ系

バイオウェット系がバイオバイオしていないブログ。 基本自分用のまとめ。

わかった気になるクロスエントロピー

バイオ系だけど、クロスエントロピーの話。

難しい話は抜きにしてわかった気になりましょう。

クロスエントロピーといえばお馴染み、こちらの式。

 \displaystyle
    H_p (q) = \sum_{x} q(x) \log_2 \left( \frac{1}{p(x)} \right)

吐き気がする人でも大丈夫なように書きます。

というか式の説明はここではしません。

何となく雰囲気を理解したい人だけどうぞ。

 p(x)とか q(x)とかなんですの?

確率分布です。方言です。

AさんとBさんの二人のやり取りを考えましょう。

それぞれ別の方言を使うとします。

お互いに何となく相手の言っていることがわかるとします。

異なる方言を使うもの同士で意思疎通を行うためには、同じ方言を使う者同士で会話するよりも沢山喋り倒さないといけないですよね?

多くの情報が必要ということです。

これがクロスエントロピーです。

もう少し詳しく

ふわーっとなんだかイメージできたかと思います。

もう少し踏み込んでみましょう。

 p(x)とか q(x)は、確率分布方言でした。

ここで、簡単のために一旦方言のことは忘れていただいて、AさんもBさんも「好き」という単語しか知らない状況を考えます。

「好き」を連呼した頻度で相手に気持ちを伝えることを考えましょう(「好き」が多ければ好きっぽいとかそんなこと)。

AさんがBさんへ気持ちを伝えることを考えます。

AさんからBさんへ「好き」と自由に発言する権利はありません。

Bさんが「好き」と言ってきたときに、Aさんが「好き」と言おうとしていた場合のみ「(私も)好き」と応答することを許すとします。

ではここで、「好き」を1、息継ぎを0とします(呼吸しないと死にますからね)。

また、Aさんは気持ちを伝えるのに10回「好き」と言わなければならないとします。

Bさん:11011010101001011
Aさん:11111111111111111
応答 :11011010101001011

AさんはBさんのことが大好きなのでずっと「好き」と言いたいようですが、Bさんの「好き」に合わせないといけないので18回も会話する必要があったようです。

この18回というのがクロスエントロピーに相当します。相手の言葉で自分の気持ちや状態を伝えるには何回の試行が必要かを表しています。

実際、Aさんが自分の気持ちに従って「好き」を連呼すれば10回だけで気持ちが伝わりますから、冗長な情報が必要であることがわかります。