サイトアイコン MAの教科書│ベンチャーネット

Eメールマーケティングで成果をあげるためのABテスト活用法

Eメールマーケティングを担当している皆様は、「どんな件名にすればより開封率があがるのか」「クリック率を改善するにはボタンの文言はどうすればいいのか」「ボタンの色は何色がいいのか」など、成果をあげるために日々頭を悩ませていると思います。

さまざまな改善アイディアがでてきたとき、それを実際に試してみて、効果があるか否かを判断することは非常に重要です。そこで、今回は施策の良し悪しを適切に判断するための1つの方法である「ABテスト」についてご紹介します。

ABテストとは?

ABテストとは、施策の良し悪しを判断するために、複数パターンの施策を実際に実行し、結果を比較することです。
施策の良し悪しについて感覚的に判断するのではなく、定量的に判断をすることによって、確実な改善が見込めます。

しかし、単純に2つ(あるいはそれ以上)のパターンを比較して、こっちの方が開封率がよかったからこれが正解、となるわけではありません。
きちんとポイントを押さえたうえで実行しないと、本当は効果があるとは言えない施策を「効果あり」としてしまう可能性もありますので注意が必要です。

ABテストの進め方

ABテストは大きくわけて、下記の4ステップで進めます。


各ステップについて、詳しく説明します。

ステップ1:課題の明確化

まずは、「何を改善するために」ABテストを実施するかを明確にします

Eメールの場合、改善する指標は基本的に「開封」「クリック」そしてクリックした先のページにセミナー等の申込みフォームがある場合は「フォーム提出」の3つですので、このうちどの指標を改善するのかを決めましょう。
1回のテストでは1つの指標についてテストを行います。

基本的にまず「開封」から改善していくことをおすすめします。
これは、メールの開封数が十分に多い状態で「クリック」や「フォーム提出」のテストを行ったほうが有意な差を得られやすくなるためです。

ステップ2:テスト計画

課題が明確化できたら、ステップ1で特定した課題に対して、具体的にどこをどのようにテストするのかを計画します
例えば、次のような計画を立てます。

テスト計画例
課題 開封率改善
どこ 件名
どのように 「〇〇様へ」など受信者の名前を件名の冒頭に差し込む

あとは計画に基づいて、実際に2種類のEメールを作成します。

テスト計画の注意事項

テスト計画を作るにあたっては、次の3点に注意をしてください。

  1. テスト計画は、1回分だけでなく、「このテストがうまくいったら/うまくいかなかったら次はどんなテストをするか」を合わせて計画することで、継続的な改善サイクルを作りやすくなります
  2. 「どのようにテストするのか」および実際にテストパターンを作成する際に、オリジナルとテストパターンに明確な差が出るように注意します。
    明確な差がない場合、テストの結果にも差が表れにくくなります。
  3. 1回のテストでは、1つのポイントのみテストします。
    複数個所を変えてしまうと、どれが要因で結果に差がついたのかわからなくなってしまいます。

ステップ3:テスト実施

計画ができたら、オリジナルEメールおよびテストEメールの2つのEメールを作成し、実際に配信します。
ほとんどのMAツール、メール配信ツールでABテストの機能があると思いますので、実際の設定は各ツールに従ってください。

必要な配信対象数(サンプル数)の目安

配信対象数(サンプル数)が少ないと、統計的に有意な差を得ることができません。以下に必要な配信対象数の目安をまとめました。

例えば、オリジナルパターンに期待される開封率が10%、テストパターンに期待される開封率が11%の場合は、各14,748人ずつに配信することで有意な結果が得られやすくなります。

十分なリストがない場合は、1回のテストで結果を判断するのではなく、同様のテストを何回か繰り返してみて判断するとよいでしょう。

上記の数値は、次のサイトを使って計算しました。
The Adobe Target Sample Size Calculator helps you determine the sample size needed for a successful A/B test
https://experienceleague.adobe.com/tools/calculator/testcalculator.html?lang=ja

ステップ4:振り返り

最後に、テスト結果を確認し、統計的に有意な差があるかをチェックします。

A/Bテスト信頼度判定ツール(有意差判定) – 株式会社真摯
https://cinci.jp/report/ab-calculator.html

上記のサイトがおすすめです。パターンA(オリジナル)とパターンB(テスト)について「Visitor」に配信数、
「Conversions」にテストした指標(一意の開封数またはクリック数)を入力すると、信頼度を算出してくれます。

テスト結果より有効な施策だと判断できた場合は、テンプレートに反映したり、メール作成時のルールとして共有しましょう。
クリックのテストの場合、配信停止リンクなど、成果に直接関係ないリンクのクリック数を除外することでより正確な分析となります。

ABテストのパターン例

「開封」を改善したい場合

開封に影響するのは主に「件名」「プレビューテキスト」です。

件名のテスト例としては、次のようなものがあります。

プレビューテキストのテスト例としては、次のようなものがあります。

「クリック」を改善したい場合

クリックに影響するのは本文中のあらゆる要素ですが、特に重要なのは「ボタン」です。

ボタンのテスト例としては、次のようなものがあります。

その他のテスト例としては、次のようなものがあります。

ABテストを実施する前のチェックリスト

最後に、ABテストを実施時に気を付けるべきポイントをチェックリストとしてまとめました。ぜひABテストを実施する際にご活用ください。

モバイルバージョンを終了