ABテスト(A/Bテスト)終了の目安や判断基準とは？

インターネット広告やアフィリエイトなどでウェブサイトを運用しているときに使用されるコンバージョン率（以下、CVR）改善の方法がABテストです。
オリジナルパターンとテストパターンをランダムに出し分けて、どちらのパターンがよりCVRが高いのかを検証する手法ですが、以下の２つの疑問をよく耳にします。

「どれくらいのセッション数が必要なのか」
「実施期間は？」

今回は、ABテストをどこで終了するか、その目安や判断基準を解説します。

実施中のABテストにおいて判断することは「差が出たから終了」「差が出なかったから終了」「もう少し検証する必要がある」の３つです。
それを見極める際に使用している数値は、「セッション数」と「CVR」です。

基本的には、ABテストのKPIはCVRとなります。
なので、テスト実施中に各パターンのCVRに差がでれば、結果が出ているということになります。

CVRの計算式は

CVR ＝ コンバージョン/セッション数

ということで、CVRの構成要素に「期間」はないので、ABテストの結果判断にも大きな影響はあたえません。

CVRが高い・セッション数が多いサイトやランディングページであれば、1週間ほどで結果が出る場合もあります。
一方で、CVRが低い・セッション数が少ないサイトの場合には当然コンバージョン（以下、CV）も少なくなるのでABテストの判断までにかかる期間は長くなります。
そのような場合には、セッション数を増やすために広告を配信したり、ボタンクリックなどのマイクロコンバージョンを用意したりなどの工夫が必要です。

オリジナルパターンAとテストパターンBに対してのセッション数がそれぞれ2,000、CVRは3%から4％に改善しているときにシンプルな統計検定（比率の差の検定）を行ったときに、有意な差と認められます。

ただし「セッション数2000ほど」というのはあくまで目安です。
医療や品質管理とは異なり、ウェブサイトにおけるABテストでは精度よりもスピードや考察が重要になります。

例えば、「○月までに売上目標必達」というものがある場合には、行動のスピードも重視されます。
セッション数やCVRの差に不安があっても、ヒートマップ解析やアクセス解析などの別の考察を通して、結果が良くなった根拠が示せれば、早めに切り上げて、次のテストに移行するのも一つの方法です。

ちなみに、当社でABテストを行う際には、CVRが3％前後であればセッション数が800～1,500くらいで切り上げることもありますし、差が大きく出ているのであれば、200程度でも終了することがあります。

先述した「CVRが3％前後であれば、各パターンのセッション数は2,000が目安」という基準は、「頻度論」という統計学に基づいています。
一方で、Google オプティマイズや弊社の開発・運営するツール SiTest（サイテスト） ではABテスト結果の判定を「ベイズ統計」という統計学に基づいて判断を行っています。

詳細な説明は長くなるため割愛しますが簡単に説明すると、「ベイズ統計」はABテストなどの不確実性が多く、大量のデータが取れない場合などに使用されます。

※上記はかなり簡略化して比較しています。

ちなみに、SiTest ではABテスト結果画面に、ベイズ統計を利用した各パターンの勝率や勝敗判定をトロフィーマークで判定する機能があります。
そのため、統計的な部分の詳細が分からなくても終了の目安が分かるようになっています。

今回はABテスト終了の目安について解説しました。
終了基準を知る方法をまとめると以下の2種類となります。

• ①セッション数とCVRから自分で計算する
• ②ツールの判断を参考にする

Web担当者の場合、ABテストだけが業務ではないので、①のような厳密的な部分に時間を割くことはあまりおすすめできません。
ツールが判断してくれる部分に関してはツールを利用し、効率的に進めていくことを推奨します。