ABテストには意味がないのか？【結果をとらえるときに注意すべき3つの前提】
しばしば「ABテストは意味がない」というABテスト不要論を耳にします。
確かに、勝利パターンを適用したのに結局のところCVRが変わっていない、むしろ下がったという事象も起こります。
本記事では、ABテストには意味がないのかと、実際にテストをしたときに得られる結果のとらえ方について解説します。
目次
ABテストは意味がないのか？結果をとらえるときに注意すべき3つの前提
実際のところ「ABテストは意味がない」は間違いだと考えられます。
しかし、テスト結果をとらえるときに重要な3つの前提を忘れてしまうと、意味がないように感じてしまいます。
その3つの前提とは以下のとおりです。
順に解説していきます。
結果の数値そのものに意味はない
ABテストを行えば「パターンAのCVRが2％、パターンBのCVRが4％でパターンBが勝利した」という数値的な結果が出てきます。
しかし、パターンBは常にCVRが4％でしょうか。
当然ですが、そのようなことはありません。
世の中のトレンドや出来事、流入してくるユーザーによって、数値は常に上下します。
これを頭に入れておかないと冒頭で紹介したような「勝利パターンを本番環境に適用したのにCVRは下がっている」という事象に直面したときABテストが無意味であると感じてしまいます。
大前提として、テスト結果で得られた数値は恒久的なものではありません。
CVRを含めて数値は変化します。
テスト結果の数値は、デザインや訴求を決定する際の参考値として利用する、あるいはフルリニューアルによるリスクをあらかじめ排除する目的として使うのが好ましいでしょう。
テスト結果は仮説の答え合わせ
ABテストを行うときには、かならずはじめに「仮説」を立てます。
仮説を立てるということは、以下のようになぜ変更するか、どのように変更したら成果が変わるだろうかという内容をデータや体験をもとに文章としてアウトプットすることです。
ABテストはこの仮説を検証するための手段です。
テストを行った結果、計測していた数値が変わったのか、テスト箇所におけるユーザー行動が仮説通りに変化したのかどうかを「答え合わせ」します。
仮説とテスト結果がおおむね合っていれば、もともと達成したい目的に近づいている可能性が高いので、そのテストパターンを本番環境に反映します。
思った結果と違った場合には、なぜ違うのかをヒートマップなどで解析して次のテストでさらに検証します。
しかし、事前の仮説がなければ上記の「答え合わせ」はできません。
仮説を立てずにテストをしても「へえ」で終わってしまいますので、それこそ時間やコストの無駄となってしまいます。
ABテストは仮説検証のための手段、ということを頭に入れて臨むのが良いです。
単発のテストに意味はない
これまでに解説してきた2項目「結果の数値そのものに意味はない」「テスト結果は仮説の答え合わせ」を総括したような内容になりますが、ABテストは単発では意味がありません。
なぜかという理由は2つあります。
数値は変動する
先述した内容と重複しますが、数値が変わるということは、今勝利しているパターンもいつかは負けパターンになる可能性があるということです。
なので、定点観測と定期的なABテストによって、常に情報をアップデートしていく必要があるのです。
勝利パターンの適用によりユーザー行動が変わる
例えば、FVの訴求についてテストを行った結果、テストパターンの成果が良いということでオリジナルを変更したとします。
すると、FVが変更されたことにより、FV以降のユーザー行動も変化します。
つまり、一部変更したら、ほかの箇所も前回の変更箇所に合わせてテストする必要があり、改善の余地も生まれます。
したがって、ABテストは単発で終わらせるより、連続的に行っていくことにこそ価値があるというわけです。
PDCAを回そう！
ABテストに価値を持たせるベストプラクティスは「PDCAを回す」ことです。
状況は刻一刻と変化するので、一回の結果に一喜一憂するのではなく、そこからどのように次につなげるかが重要となります。
PDCAをどのように回すか、どのようにサイトを改善するかについては、別記事で解説していますのでそちらをご参照ください。
さいごに
本記事では、「ABテストは意味がないのか」というテーマでテスト結果のとらえ方を解説しました。
株価などと同様に、ウェブサイトのCVRなどの数値も常に変動するものです。
テスト結果を絶対視するのではなく、相対的な参考値としてや、仮説検証の結果として受け止めることが好ましいです。
定点観測と定期的なテストを繰り返すことが、ウェブサイト改善の近道です。
国内48万サイトに導入されたウェブサイト改善ツール SiTest
SiTest の現在の導入実績は48万サイトとなりました。
ヒートマップ解析とABテスト機能を搭載しているため、記事中で解説した「ABテストにおける仮説検証」を行うことが容易で、ウェブサイトの費用対効果を改善することに特化しています。
