2つの割合を比べる(A/Bテスト)

2つの割合を比べる ― 営業マネジャーのための「母比率の差の検定」(A/Bテスト)

1. この記事で学べること

2. エピローグ

スマホの2つのニュースアプリを使っている。

通知をタップして開く割合が、なんとなくA社のほうが高い気がする。

でも、通知の数もタップした数も日によって違う。

「開く割合が高い」というのは、本当の差なのか、たまたまなのか。

いちこ

割合が少し高くても、回数が違うと比べにくいですね。

シュン

そうなんだ。2つの割合を比べるときは、それぞれ何回中の割合なのかを込みで、差が偶然の範囲を超えているか見る必要があるんだ。

クーポンでも同じだ。

デザインの違う2種類のクーポンを配って、使われた割合を比べたい。

片方が少し高くても、配った枚数が違えば単純比較はできない。

この差が「意味のある差」かを確かめたい。

いちこ

いわゆるA/Bテストの判定ですね。

シュン

それを支えるのが母比率の差の検定だよ。

アプリのタップ率も、クーポンの利用率も、知りたいのは「2つの割合に本当に差があるか」だ。

これを判定するのが母比率の差の検定だ。

3. 母比率の差の検定とは何か

2つの母集団の比率(割合)に差があると言えるかを調べる検定だ。「差がない(p1 = p2)」を帰無仮説に置く。

1グループの割合を扱う母比率の検定を、2グループの比較に拡張したものだ。

標本サイズが十分大きいとき、割合の差が正規分布に近づくことを使ってzで判定する。

この正規近似の背景は二項分布にある。

4. 図で見る

営業で、2つのメール件名の開封率を比べてみる。

件名Aは200通中50通開封(25%)、件名Bは200通中70通開封(35%)。

• 見た目の差は10ポイント。各200通なので、偶然の範囲かをzで確かめる。
• z=差÷差の標準誤差。|z|が1.96を超えれば有意差あり(この例は有意)。
• 差の95%信頼区間も出すと、「10ポイント差」がどのくらいの幅を持つかわかる。

覚えておきたいのは2つ。

① 割合の差は、各グループの件数(n)込みで判定する。

② 件数が少ないと、大きな差でも有意にならないことがある。

1グループの割合の検定は母比率の検定に戻ると整理できる。

5. 計算式

シュン

教科書的な計算式も紹介しておくね。

いちこ

シーン別の記事では、プロンプトも紹介してくれてますね。まさに生成AIに頼るところですね！

母比率の差の検定統計量(プールした比率 p̂ を使う)

• $\hat{p}_1,\hat{p}_2$: 各グループの標本比率
• $\hat{p}$: 2群をあわせたプール比率、$n_1,n_2$: 各件数

差の信頼区間では、プールせず各群の分散を使う点に注意する。

生成AIに渡せば10秒で計算できる。手計算は不要。

6. まとめ

1グループは母比率の検定、間違え方は

いちこ

この統計テーマを使った事例記事も見てみてね♪

• リード分析の基本 ― ソース別の商談化率の差を検定する
• セミナー効果の検証 ― 参加/不参加の受注率を比べる
• 失注分析の基本 ― セグメント別の失注割合を比べる