検定の2つの過誤と検出力

検定の2つの過誤と検出力とは ― 営業マネジャーのための「2種類の間違え方」

1. この記事で学べること

2. エピローグ

家の火災報知器が、料理の湯気で鳴った。

火事でもないのに鳴る。

うるさいが、まあ安全側の間違いだ。

もし逆に、本当に火が出ているのに鳴らなかったら、それは取り返しのつかない間違いになる。

同じ「間違い」でも、向きが2つある。

鳴らなくていいのに鳴る(誤報)と、鳴るべきなのに鳴らない(見逃し)。

いちこ

誤報はうっとうしいけど、見逃しのほうがこわいですね。

シュン

そうなんだ。しかも報知器を敏感にすれば見逃しは減るけど、今度は誤報が増える。両方を同時にゼロにはできないんだよね。

メールの迷惑判定でも同じことが起きる。

ふつうのメールが迷惑フォルダに入ってしまうと、大事な連絡を見落とす。

逆に、迷惑メールが受信箱をすり抜けることもある。

フィルタを厳しくすれば迷惑は減るが、ふつうのメールまで弾いてしまう。

ゆるくすれば取りこぼしは減るが、迷惑がすり抜ける。

いちこ

厳しくしても、ゆるくしても、どちらかの間違いが増えるんですね。

シュン

この2種類の間違いには、統計でちゃんと名前がついているんだ。

火災報知器の誤報と見逃し。 メールフィルタの弾きすぎとすり抜け。

この「2種類の間違い」を、統計では第1種の過誤・第2種の過誤と呼ぶ。

3. 第1種の過誤・第2種の過誤・検出力とは何か

検定では、まず「差がない・効果がない」という帰無仮説を置き、それを棄却できるかを調べる。

検定の進め方そのものは仮説検定を先に読むと、ここがつながる。

このとき、判断を2通りに間違えうる。

• 第1種の過誤(α)… 本当は差がないのに「差あり」としてしまう(=早とちり・誤報)
• 第2種の過誤(β)… 本当は差があるのに「差なし」としてしまう(=見逃し)

そして、本当に差があるとき、それを正しく「差あり」と検出できる確率を検出力と呼ぶ。

検出力 = 1 − β。見逃しの裏返しだ。

第1種の過誤の上限を決めているのが有意水準(ふつう5%)だ。

4. 図で見る

営業で、新しいトークスクリプトの効果を検定する場面を考える。

• 効果がないのに「効果あり」と判断 → 第1種の過誤。全社展開して工数を無駄にする。
• 効果があるのに「効果なし」と判断 → 第2種の過誤。使えるスクリプトを見送る機会損失。

αを小さくしよう(慎重に)とすると、βは大きくなりやすい。両者はトレードオフの関係にある。

では見逃し(β)を減らして検出力を上げるには、どうするか。いちばん素直なのはサンプル数を増やすことだ。

• サンプルが少ないと検出力が低く、本当の効果も見逃しやすい。
• nを増やすほど検出力は上がり、80%あたりが一つの目安になる。
• 「差が出なかった」は「差がない」ではなく、単にnが足りないだけかもしれない。

覚えておきたいのは2つ。

① 2種類の間違いは同時にゼロにできない。どちらの間違いが痛いかで水準を決める。

② 「有意差なし」を結論にする前に、検出力(=十分なnがあったか)を確かめる。

必要な件数の見積もりはサンプルサイズ設計とセットで考える。

5. 計算式

シュン

教科書的な計算式も紹介しておくね。

いちこ

シーン別の記事では、プロンプトも紹介してくれてますね。まさに生成AIに頼るところですね！

2種類の過誤と検出力の定義

• $\alpha$: 第1種の過誤の確率(有意水準で上限を決める)
• $\beta$: 第2種の過誤の確率
• $1-\beta$: 検出力。大きいほど本当の差を見抜ける

検出力は、効果の大きさ・ばらつき・サンプル数nで決まる。nを増やすほど大きくなる。

生成AIに渡せば10秒で計算できる。手計算は不要。

6. まとめ

検定の全体像は仮説検定、判断基準は

いちこ

この統計テーマを使った事例記事も見てみてね♪

• セミナー効果の検証 ― 効果ありと言い切る前に見逃しを疑う
• サンプルサイズ設計 ― 検出力80%に必要な件数を見積もる
• 営業の目標設定 ― 幅で捉えて早とちりを避ける