ABテスト入門:はじめてでも迷わない基本と進め方

統計

ABテスト(A/Bテスト)は、2つの案(AとB)を同時に出し、どちらが目標達成に強いかをデータで比べる手法です。感覚ではなく数字で判断できるため、CVR改善やクリック率向上に役立ちます。

ABテストとは?

同じ期間・同じ条件で、ユーザーを無作為にA案とB案へ振り分け、事前に決めた指標(例:購入率、クリック率、会員登録率)が高い方を選ぶ実験です。

  • 目的:サイト/LP/記事/ボタン/見出しなどの改善
  • 前提:同時比較・ランダム割り当て・十分な母数
  • 結果:有意差(偶然ではない差)を確認して勝ち案を採用

いつ・どこで使う?

  • CTA文言やボタン色を変える
  • 記事タイトル・導入文・見出し構成
  • フォームの項目数や配置
  • 価格の見せ方、特典バナーの有無

目標とKPIの決め方

テスト前に、最終目標(主指標)補助指標(副指標)を1〜2個ずつ定義します。

目標タイプ 計算式
クリック率(CTR) CTAボタンのクリック CTR = クリック数 ÷ 表示回数
コンバージョン率(CVR) 購入/申込/会員登録 CVR = 成約数 ÷ 訪問数
直帰率/スクロール率 読み進みの深さ 例:最下部まで到達したセッション ÷ 総セッション

実施ステップ(初心者向け手順)

  1. 課題を特定:例「CTAが目立たずクリックが少ない」
  2. 仮説を1つに絞る:例「動詞で始まるCTAだとCTRが上がる」
  3. 代替案Bを作る:テキスト/色/位置など1点だけ変える
  4. 指標と期間を決める:主指標は1つ、最低1週間など
  5. 均等配信で開始:ユーザーをランダムにA/Bへ
  6. 途中で触らない:途中の勝ち負けで止めない(早期停止はNG
  7. 結果を判定:有意差・区間(95%CI)を確認
  8. 学びを記録:ナレッジ化して次の仮説へ

超シンプルな例

同期間に1,000人ずつ配信:

  • A:クリック 80 → CTR = 80/1000 = 8.0%
  • B:クリック 110 → CTR = 110/1000 = 11.0%

差は+3.0ポイント。母数が十分で他条件が同じなら、B採用が妥当です。厳密判定は統計ツールで95%信頼区間やp値を確認しましょう。

実施期間とサンプルサイズの考え方

  • 最低1週間(曜日差の影響を受けにくくするため)
  • 必要サンプルの目安:「想定改善幅が小さいほど大量のトラフィックが必要」
  • 小規模サイトは、まずインパクトが大きい仮説(文言や配置など)から

ワンポイント:「毎日数十PV」だとABテストは時間がかかります。まずは勝ち筋がありそうな大胆な変更から検証し、学習速度を上げましょう。

やること・やってはいけないこと

やること(DO)

  • 主指標を1つに固定する
  • 変更点はできるだけ1つに絞る
  • テスト期間中は他の変更を入れない
  • 学び(仮説 → 結果 → 示唆)を記録する

やってはいけないこと(DON’T)

  • 途中で勝っているからと早期終了する
  • 母数が少ないのに結論を出す
  • 同時に複数箇所を変えて原因をあいまいにする
  • 副作用(滞在時間低下など)を無視する

WordPressでの始め方ヒント

  • 配信の仕組み:簡易的には「A版のブロック」「B版のブロック」を用意し、ランダム表示(または期間で切替)。外部テストツールやテーマ機能を使う方法もあります。
  • 計測:Googleアナリティクスやタグでクリックイベントを計測。記事内ボタンにイベント計測用の属性を付けるのが簡単です。
  • ログ管理:テスト名、期間、主指標、結果、学びをスプレッドシート等で管理すると再現性が上がります。
例)CTAボタンの計測用HTML(クリックイベント名:cta_click
<a href="/signup" class="btn" data-event="cta_click">今すぐ無料で試す</a>

※計測の実装は使っている解析ツールに合わせて設定してください。

FAQ

Q. テスト期間はどれくらい?

A. 最低1週間、できれば1〜2サイクルの購買周期をカバーできると安心です。

Q. 勝ち案が出たら?

A. すぐに全配信へ適用し、次の仮説テストに移ります。学びを必ず記録してください。

Q. トラフィックが少ない場合は?

A. 劇的に効きやすい変更(文言、配置、オファーの見せ方)から。必要に応じて時系列比較(A→B)で様子を見るのも現実解ですが、外部要因の影響に注意。

用語集

主指標(Primary Metric)
最終判断に使う指標。CVRや購入数など。
有意差
偶然では説明しにくい差。統計的に意味がある差。
信頼区間(CI)
真の値が入っていそうな範囲の推定。
早期停止
途中経過だけでテストを打ち切ること。誤判定の原因。

まとめ:ABテストは「仮説を1つに」「主指標を1つに」「同時比較で」「十分な母数で」。小さく回して学びを積み上げましょう。