ベイズ推定とは？モンティ・ホール問題を解いてみよう！ ｜ SiTest (サイテスト) ブログ

前回はベイズの定理を条件付き確率から考えてみました。
今回はベイズの定理が元になったベイズ統計学の代表的な方法である「ベイズ推定」をご紹介します。

ベイズ推定（ベイズすいてい、英: Bayesian inference）とは、ベイズ確率の考え方に基づき、観測事象（観測された事実）から、推定したい事柄（それの起因である原因事象）を、確率的な意味で推論することを指す。

Wikipedia:ベイズ推定

ベイズ推定の話の前に事前確率と事後確率について確認しましょう。

事前確率とは？
　データを手に入れる前に想定していた確率

事後確率とは？
　データを用いて事前確率を修正した確率

言葉のとおりですね。

・事前確率を修正して事後確率にする流れ
・事前確率からデータを用いて変化させることを
　「ベイズ更新」「ベイジアンアップデート」と呼ぶ

　なるほど！事前確率Aというものがあった場合に、その事象に新たなデータをもってきて事前確率A→事後確率Bにする行為をベイズ更新と呼ぶそうです。
これもわかりやすいですね。

飴ちゃんソーダとはちみつが10個ずつあり、箱Aと箱Bに適当に入れました。
どちらか一つの箱をランダムで選び、飴を取り出します。
これが箱Bから取り出したという確率はどれぐらいか。

直感でも、50%だということはわかりますが、
　箱Aから飴を取り出す確率 = P(H1) = 1/2
　箱Bから飴を取り出す確率 = P(H2) = 1/2
となります。

次に取り出した飴はソーダであることがわかりました。
箱の中身を見てみると
　箱Aにはソーダを2個はちみつを6個
　箱Bにはソーダを8個はちみつを4個
でした。
それぞれの箱からソーダ味が取り出される事象Dに対する確率P(D|H1)・P(D|H2)は
　箱Aからソーダを取り出す確率は P(D|H1) = 2/8 = 1/4
　箱Bからソーダを取り出す確率は P(D|H2) = 8/12 = 2/3
となります。

以上より、ソーダの飴が箱Bから取り出された確率P(H2|D)は
ベイズの定理より

P(H2|D) = P(H2) * P(D|H2) / (P(H2) * P(D|H2) + P(H1) * P(D|H1))
          = 1/2 * 2/3 / (1/2 * 2/3 + 1/2 * 1/4)
          = 8/11

となります。
以上の例の場合に
– 事前確率: P(H2) = 1/2
箱Bからソーダ味が取り出される確率が 2/3
– 事後確率：P(D|H2) = 8/11

となります。 1/2 → 8/11に確率が更新されましたね。

以前の記事でベイズ定理

P(y|x) = P(y)P(x|y) / P(x)

を部分関数から導く方法を紹介しました。
この公式をちょっと変形して

P(y|x) = P(y) * (P(x|y) / P(x))

と書きます。上記2式は同じものです。

この式の
P(y)とP(y|x)はそれぞれ事前確率と事後確率です。
ということは、ベイズの定理は

事後確率 = 事前確率 * 修正項

と書くことができます。
事前確率から事後確率を導いているのが式として表現されていますね。
個人的にはこっちのほうが理解しやすく、スッキリしているように感じています。

今回は事前確率と事後確率からベイズの定理を紹介しました。
事前確率→事後確率への変更をベイズ更新と呼びます。ベイズ更新はベイズ統計学において重要な要素ですので、是非おさえておきましょう。

さて、ここまで出てきた要素を考えながらモンティ・ホール問題を解いてみましょう。
モンティ・ホール問題はベイズ統計学の例としてよく使われます。

3つの扉のうち1つだけに賞品が入っていて、回答者はそれを当てたら賞品がもらえる。ただし扉は次のように2段階で選ぶことができる。

1：まず回答者は3つの扉からどれか1つを選ぶ。
2：次に、答を知っている司会者が、選んでいない扉で賞品の入っていない扉1つを開けてみせる。
ただし、回答者が当たりの扉を選んでいる場合は、残りの扉からランダムに1つを選んで開けるとする。このあと回答者は扉を1回選び直してもよい。

2で扉を換えるのと換えないのと、どちらが当たる確率が高いか？

3枚のとびらをそれぞれA、B、Cとし、回答者がAを選んび、2で司会者がBの扉を開けるとしましょう。その場合にCの扉が正解である確率を求めます。

1の段階でA、Cがそれぞれ正解である確率は

P(A) = P(C) = 1/3

です。(事前確率)
A、Cが正解である場合に司会者がBを開ける確率はそれぞれ

P(B|A) = 1/2
P(B|C) = 1

となります。
Bの扉を司会者が開けてCの扉が正解である確率 P(C|B)は

P(C|B) = P(C) * P(B|C) / (P(B|A) * P(A) + P(B|C) * P(C))
 =  1/3 * 1 / (1/2 * 1/3 + 1 * 1/3)
 = 2/3

となります。
よって、扉を変更した方が確率は高くなると言えます。