A/B テスト結果を正しく判断するために～①仮説検定について ｜ SiTest (サイテスト) ブログ

ウェブサイトの改善には、Google Analytics をはじめとしたアクセス解析と、SiTest をはじめとしたヒートマップ解析などを組み合わせて、現状のウェブサイトを分析することが必要です。さまざまな角度からウェブサイトの問題点を洗い出し、その部分の改善案を考え出してはA/Bテストを繰り返す、といったサイクルを繰り返す必要があります。

以前、「A/Bテストの終わりを見極める！統計的有意差と仮説検定入門」という記事にて、A/Bテストの結果をどう見ればよいか、検定の方法とともにお伝えいたしました。とても多くの反響をいただいたのですが、改めてもっとわかりやすく書いてほしいとの要望がありました。
今回は、「仮説検定」について、一緒に学んでいきましょう。

そもそも、仮説検定とは？

仮説検定の目的は、母集団で仮定された仮説を、標本（母集団の一部分）に基づいて検証することです。仮説とのズレが誤差の範囲内なのかをみるのですね。仮説とのズレが何らかの意味を持つのならそのズレは「有意」であるといいます。
文章だけでは、なんのことかよくわからないと思います。実際に、例をもとに説明していきましょう。

このとき、あなたはどう感じるでしょうか？

「30回のうち22回の表が出るくらいであれば、普通に起こりうるから、コインに仕掛けはないな」と思うでしょうか？
「30回のうち22回も表が出るのは絶対におかしい。きっとコインに仕掛けがあるに違いない！」と思うでしょうか？

感覚ではどちらでも有り得そうです。しっかり吟味しないと、1,000万円を失うことにもなりかねません。数学的にしっかり考察していきましょう。

帰無仮説と対立仮説

もしコインに仕掛けがない場合、半分の確率で表か裏が出ます。
表が出る確率をpで表すとすると「p=1/2」と書くことができます。
逆に、コインに仕掛けがある場合は「p≠1/2」と書くことができます。

「コインに仕掛けがない（p=1/2）」という仮説を「帰無仮説 H0」
「コインに仕掛けがある（p≠1/2）」という仮説を「対立仮説 H1」
と呼びます。

仮説検定では、「帰無仮説 H0」について吟味を行い、それを否定することで「対立仮説 H1」が正しいことを証明する、という方法を取ります。
吟味しやすい「帰無仮説 H0」が一旦正しいとして検定を行い、その結果を基に「対立仮説 H1」が正しいのかを証明していきます。

実際に計算してみよう

「帰無仮説 H0：コインに仕掛けがない」が正しいとすると、30回のうち22回表が出る確率は、
となります。
22回以上表が出る確率をすべて足し合わせると、
となり、約0.8%と計算できます。

もしもコインに仕掛けがなければ、30回中に22回以上表が出る確率は約0.8%ほどとなります。これは、コインを30回投げるという試行を125回繰り返して、22回以上表が出るのがやっと1回あるくらいの確率です。
「帰無仮説 H0：コインに仕掛けがない」が正しいとすると、今回のように30回のうち22回表がでるようなことはかなりレアなことのような感じがしますね。

仮説検定では、レアなことは起こらない、という判断をします。そのため、
「帰無仮説 H0：コインに仕掛けがないは正しい」は棄却され、その結果として
「対立仮説 H1：コインに仕掛けがあるは正しい」と判断できるのです。

有意水準

さきほどは、計算して求めた値 0.008（0.8%）を「レアな事象」と判断しましたが、この判断は人によってブレが生じます。そのため、判断する人によるブレを防ぐために共通の基準が作られており、それを「有意水準」といい、通常は α を用いて表します。

基本的には、有意水準10%（0.1）、有意水準5%（0.05）、有意水準1%（0.01）などがよく用いられます。（両側検定の場合）

有意水準5%（α=0.05）とした場合、α=0.05>P=0.016 なので、今回の事象は「レア」だと言えます。
有意水準1%（α=0.01）とした場合、α=0.01<P=0.016 なので、今回の事象は「レアではない」と考えます。

レアだと言えるとき、帰無仮説 H0は棄却され、対立仮説 H1が受容されます。
レアだとはいえないときは、帰無仮説 H0は棄却できず、帰無仮説 H0と対立仮説 H1のどちらが正しいか（まだ）判断できない、ということになります。

各用語のおさらい

真実に対して、帰無仮説 H0を棄却するかしないかの判断を誤ってしまう事がありえます。
本来は帰無仮説 H0が正しいにもかかわらず、帰無仮説 H0を棄却してしまう誤りを「第一種の過誤」といい、
本来は帰無仮説 H0は誤っているにもかかわらず、帰無仮説 H0を棄却しないでいてしまう誤りを「第二種の過誤」といいます。

今回の例で言うと、
本当はコインに仕掛けがないにもかかわらず、仕掛けがあると判断してしまうことが「第一種の過誤」、
本当はコインに仕掛けがあったにもかかわらず、仕掛けがないと判断してしまうことが「第二種の過誤」です。

「第一種の過誤」が起こる確率は、有意水準α で決まります。
第一種の過誤は、有意水準α とP値を比較して判定を行うことから、有意水準α を小さくすることで起こりにくくなります。
有意水準α は自分で決めることができるので、第一種の過誤はコントロールが比較的容易です。
しかし、それによって第二種の過誤を起こす確率は高くなってしまいます。
つまり、「第一種の過誤を起こす確率」と「第二種の過誤を起こす確率」はトレードオフの関係にあり、有意水準を調整するだけでは、両方の誤りを減らすことはできません。
そのため、分析者はどちらの誤りをより起こしたくないのかを考え、有意水準α を調整することになります。

仮説検定はあくまでも確率論であって、常に間違っている可能性を孕んでいます。つまり、仮説検定で得られた結果は、確率統計上合理的な判断であり、それが真実とは限らないということは常に頭に入れておく必要があります。

今回は、コインの賭けの例をもとに、仮説検定の基礎を学んできました。A/Bテストでは、この仮説検定の基本をもとに、様々な検定手法でそのテスト結果が有用なデータかを判断することになります。
先ほどの文脈を借りれば、第一種の過誤は「本当は効果のないパターンに効果があるとみなしてしまう」、第二種の過誤は「本当は効果があったパターンを効果なしとみなしてしまう」という事象になります。この過誤をできるだけ減らし、より効果のある施策を探していく作業が、A/Bテストなのです。
最終的には、ツールに付属している信頼区間の表示や、無料で提供されている判定ソフトに判断を委ねても良いですが、どういうロジックで算出されているかを理解していないと、その分真実から遠くなる可能性があります。しっかりと理解をしておきましょう。

（参考リンク）
「仮説検定とは？初心者にもわかりやすく解説！」（to-kei.net）
「統計学の鬼門「統計学的仮説検定」とは何か？ – 瀬下大輔のマーケターが身につけたい統計学（仮説検定・回帰分析編）」（WPJ）