営業メールのA/Bテスト、何件配信すれば判断できるか

営業メールのA/Bテスト、何件配信すれば判断できるか ― 「差が出た」で決めない

インサイドセールスのチームで、メルマガの件名をA/Bテストした。

件名A・件名Bをそれぞれ50通ずつ配信。

開封率は A=24%(12通)、B=34%(17通)。

「Bの勝ちだ。全部Bでいこう。」とメンバーが言う。

でも、たった50通ずつだ。

この10ポイント差は、本物の差なのか、それともたまたまなのか。

いちこ

50通ずつだと、数通の違いで開封率が大きく動きますよね。

シュン

そうなんだ。A/Bテストは「差が出た」だけじゃ決められない。件数が足りないと、偶然の差を実力と勘違いして、効かない施策を全社展開してしまう。

この差が「本物」か確かめる

2つの割合(開封率)の差が偶然の範囲を超えているかは、割合の差の検定で判定できる。

各50通・差10ポイント程度では、多くの場合まだ有意にならない。では「何通あれば判断できるのか」。検出したい差の大きさから、必要な配信数を逆算する(サンプルサイズ設計)。

• 小さな差ほど、必要な配信数は急に増える(差5ptなら各1,000通超)。
• 差10ptを見分けたいなら、各群300通前後が目安。
• 各50通では、差10ptでも「偶然の範囲」と判定されやすい。

会議での声かけ例

「Bが良さそうだね。ただ各50通だと偶然かもしれない。各300通たまるまでは“暫定1位B”にして、判断は保留にしよう。」

「次からは“何ポイント差を見分けたいか”を先に決めて、必要配信数をセットでテスト設計しようか。」

なぜ「割合の差の検定+サンプルサイズ設計」なのか

開封は「開いた/開かない」の2択なので、比べるのは平均でなく割合。2つの割合の差が偶然かはzで判定する。

必要な配信数は、ベースラインの開封率・検出したい差・有意水準・検出力から決まる。差が小さいほど多くの件数が要る。

いちこ

「何通必要か」を先に出しておけば、ムダな早合点が減りますね。

シュン

そう。テストは“やる前の設計”が8割だよ。

生成AIとの対話例

必要な配信数の見積もりは、生成AIに渡せば一発だ。

営業メールのA/Bテストを設計したい。
・現状の開封率(ベースライン): 25%
・検出したい差: 10ポイント(35%になれば採用したい)
・有意水準5%、検出力80%
この条件で、各グループに必要な配信数を計算して。計算の前提も教えて。

生成AIに渡せば10秒で計算できる。手計算は不要。

まとめ

施策の効果検証の全体像は、課題ガイド「その施策、本当に効いたか」にまとめている。

いちこ

この判断に使った統計も見てみてね♪

• 2つの割合を比べる(A/Bテスト) ― 開封率の差が偶然かを検定する
• サンプルサイズ設計 ― 必要な配信数の決め方
• 検定の2つの過誤と検出力 ― 早とちりと見逃しのバランス