ABテスト用語集 テスト手法と統計学用語 ｜ SiTest (サイテスト) ブログ

SiTest にABテスト機能を導入した背景には、「ウェブサイトの解析から改善まで SiTest だけで行えるようにしたい」という想いがあります。

複数のツールを使うと管理コストが高くなりますし、費用もそれぞれのツールでかかってきます。
そのため、ABテスト機能も SiTest の中に盛り込んでご提供することに致しました。
 
今回はそんなABテスト機能をより有意義にご活用していただくために、ABテストに関する用語をご紹介していきます。

「スプリットランって何？」「ABテストと多変量テストの違いは？」「テストってどうやって行うの？」といった疑問にお答え致しますので、ぜひご一読ください。
 

 
 

ABテスト

 
ABテストとは、ウェブページの一部、またはページ自体や広告を2パターン用意し、ユーザーの反応をテストする手法です。
3パターン以上のページや広告を用意してテストする場合は、A/B/nテストと呼ばれることもあります。

ABテストはボタン、キャッチコピー、文章、画像、順序などさまざまな項目で実施され、クリック率やコンバージョン率などをもとに、より効果の高いパターンを判断してウェブサイトや広告を最適化します。
 
 

スプリットランテスト(スプリットテスト)

 
スプリットランテストとは、ユーザーを分割(スプリット)してテストする手法で、ABテストと同じ意味を持ちます。
 
 

多変量テスト(MVT / Multivariate Testing)

 
多変量テストは、ウェブページや広告で複数の要素を組み合わせて行うテスト手法です。
例えばページ内のファーストビューにおいてキャッチコピーを3種類、画像を3種類用意してそれぞれを組み合わせた3×3=9パターンでテストを実施し、最も効果の高いパターンを見つけていきます。

多変量テストでは、一度に複数の要素をテストすることができるため早いサイクルでウェブサイトを改善することができます。
ただしアクセス数が少ないとテスト結果を分析するに足るデータ量が集まらないため、アクセス数に応じてABテストと使い分けることが必要です。
 
 

トータルエクスペリエンステスト(エクスペリエンステスト)

 
ウェブサイトを最適化するテスト手法の中でも、近年注目を集めているのがトータルエクスペリエンステストです。
トータルエクスペリエンステストとは、システムを用いてウェブサイト全体でのユーザーを動きを解析し、ユーザーエクスペリエンスを最適化するテスト手法です。
単一のウェブページをテストするのではなく、ページをまたぐ「エクスペリエンス」を複数用意してテストを行います。

例えばウェブサイトに訪問した後、リターゲティング広告をクリックして別のランディングページに訪問するまでの一連の流れを、リターゲティング広告バナーやランディングページを複数パターン用意してテストすることでユーザーエクスペリエンスを最適化します。
テストの準備、および実施に時間が掛かることが難点ですが、既存のテスト手法とは異なりウェブマーケティング全体の見直しにつながります。
 
 

仮説検定(統計学的仮説検定)

 
ABテストにおける仮説検定とは、テストする内容やパターンについて仮説を立案し、その効果(真偽)についてABテストの結果をもとに確かめることを指します。

ABテストを行うにあたって仮説は非常に重要で、「どのページのどの要素をどのようにテストしたら効果が上がりそうか」といった思考を基準にして立案していきます。
 
 

因果関係

 
ある物事が別の物事を引き起こしたり生み出している場合、2つの物事の間にある関係性のことを「因果関係」と呼びます。
ABテストにおいては、特定の変更が効果の改善につながったことが明らかに証明できる場合にこの言葉が用いられます。
一度に多くの要素をテストしてしまった場合はこの因果関係を証明することが難しくなるため、ABテストではテストする要素を絞って実施することが望ましいと言われています。
 
 

相関関係

 
ある値が変化すれば別の値も変化する場合、この2つの関係性を「相関関係」と呼びます。
相関関係は因果関係と誤認されやすい言葉ですが、一方の値が要因となりもう一方の値が変化することが確定的に明らかでない場合は因果関係があるとはいえません。

ABテストにおいては、例えば直帰率とコンバージョン率の関係性などで用いられることがあります。
ファーストビューの画像を複数パターンを用意してABテストした時に、直帰率が低いパターンの方がコンバージョン率が高くなる傾向があった場合、直帰率とコンバージョン率は相関関係にあると言えます。
しかし、これは「ファーストビューの画像を変えたことがどちらの値にも影響を及ぼしている」という可能性が高く、直帰率が低くなったことがコンバージョン率を高くしたということには必ずしもつながりません。
そのため、この2つの値は因果関係にはないと言えます。

因果関係と相関関係を取り違えてしまうと、先程の例で言えば「いかに直帰率を下げるか」というテストの実施に注力して、最終目標であるコンバージョン率の改善に結びつかない可能性もあります。
ABテストする際には、充分に注意しましょう。
 
 

統計的有意性

 
統計的有意性とは、テストした結果が統計的に信頼できるかどうかという指標のことであり、ABテストを実施する上で非常に重要な概念です。
例えば2つのパターンAとBを用意して100人のアクセスを50人ずつ振り分けたとします。
Aパターンではコンバージョン率が2％、Bパターンではコンバージョン率が3％になった場合、単純に判断すればBパターンの方が効果があると言えます。
しかし、実際はアクセス数が少なすぎてこの結果になった可能性があり、さらに100人分のアクセスが集まって計200人を振り分けた時にはコンバージョン率が逆転してしまうこともあります。

この場合、最初のテスト結果で出した「Bパターンの方がコンバージョン率が高い」という結論は統計的優位性があると言えません。
同じテストを繰り返し実施した場合にも結果が変わらないようなレベルまでテストを続けることがABテストでは重要なのです。
 
 

交互作用(相互作用)

 
2つ(あるいは複数)の要素が相互に影響しあうことでテスト結果に変化が生じる場合、2つの要素の間には交互作用があると言われます。

ファーストビューにおけるキャッチコピーと画像を例にして考えてみましょう。
キャッチコピーをA・B・Cの3パターン、画像をD・E・Fの3パターン用意したとします。
キャッチコピーのABテストではBパターンが最も良く、画像のABテストではFパターンが最も良かった場合、最高の組み合わせはBパターン+Fパターンになるかというとそういうわけではありません。
キャッチコピーと画像には交互作用があり、多変量テストを実施するとBパターン+Eパターンの組み合わせが最も効果的である、といったケースも考えられます。

アクセス数にもよりますが、交互作用があると考えられる場合はABテストよりも多変量テストで判断することをおすすめします。
 
 

実験計画法

 
交互作用する要因を整理してテスト内容を策定する手法のことを実験計画法と呼びます。
多変量テストにおいては、単純に複数の要素をテストすれば良いというわけではなく、コンバージョン率向上など目的を達成するために関わってくるであろう要素を洗い出す必要があります。
要素同士で交互作用がある組み合わせを予め想定しておくことで、ABテストでの失敗を未然に防ぐことができるため、この考え方を知るとことから始めましょう。
 
 
 
今回は「ABテスト」の手法と統計学に関する用語をご紹介しましたが、もっと踏み込んでいくと必要な考え方、知っておいた方が良い理論はまだまだあります。
まずは今回ご紹介した基本的な内容をおさえて、ABテストを始めてみてくださいね。
 
それでは次回をお楽しみに！