p値・有意水準とは ―「どこで線を引くか」入門

1. この記事で学べること

2. エピローグ

冷蔵庫を開けると、ヨーグルトがあった。

賞味期限を確認すると、昨日までだった。

食べるべきか、捨てるべきか。

見た目は普通だ。においも問題ない。 「1日くらい大丈夫かな」と思う一方で、「やめておいた方がいいかな」とも思う。

でも、「賞味期限」という基準があるから、判断できる。

基準がなければ毎回悩み続ける。 今日も明日も明後日も、「これはまだ食べられるのか」と考え続けることになる。

基準を決めるから、判断が明確になる。

賞味期限は「この日までは安全と認める」という線引きだ。 1日過ぎたからといって即座に危険になるわけではないが、基準があることで判断がぶれなくなる。

いちこ

賞味期限って、なんとなく決まっているものだと思ってましたが、「基準を決める」という意味があるんですね。

シュン

そうなんだよ。統計の有意水準も全く同じ考え方でね。「p値がいくつ以下なら偶然ではないと判断するか」を先に決めておくことで、データを見た後に判断がぶれなくなるんだよね。

海外旅行中に、クレジットカードが止まった。

ホテルのチェックインでカードを出したら、決済が通らなかった。 カード会社に電話すると「不審な利用の可能性があったため、一時停止しました」と言われた。

いつもと違う国で使ったから、怪しまれたのか？

カード会社は「怪しさのスコア」を計算して、ある基準を超えたら利用を止める仕組みを持っている。

でも基準の設定は難しい。

• 基準を厳しくしすぎると、正常な海外利用まで止めてしまう。
• 基準を緩くしすぎると、本物の不正を見逃してしまう。

どこで線を引くか。それが基準設定の本質だ。

有意水準の設定も全く同じジレンマがある。

• 厳しくしすぎると(0.01など)、本当は差があるのに「差なし」と判断してしまう。
• 緩くしすぎると(0.2など)、偶然の差を「差あり」と判断してしまう。

いちこ

基準を厳しくしすぎても緩くしすぎても困るんですね。

シュン

そうなんだよ。これって統計でいう「第一種の過誤」と「第二種の過誤」の話でもあるんだけど、要は「誤って止める」と「見逃す」のどちらをより避けたいかで、基準の厳しさが変わるんだよね。

いちこ

状況によって有意水準を変える理由がわかりました！

マイホームのために、ローンを申し込んだ。

担当者が言った。「年収の○倍までが審査の基準です。」

基準ぴったりの金額を申し込んだ。 結果は承認だった。

もし1円でも多く申し込んでいたら、否決だったかもしれない。

基準より1円でも超えれば否決。基準以下なら承認。

この「先に基準を決めておく」ことには重要な意味がある。 データを見てから「やっぱり基準を変えよう」とすると、都合のいい結論を出すために基準を動かしてしまう危険がある。

有意水準も同じだ。 「p値を計算してから有意水準を決める」のは反則だ。 必ずデータを見る前に「p < 0.05なら有意差あり」と決めておく。

シュン

この「先に基準を決めておく」というのが、有意水準の一番大事なポイントなんだよね。

いちこ

データを見てから基準を変えると、都合のいい結論が出せてしまいますもんね。

シュン

そうそう。だから研究や分析では「事前に有意水準を決める」というルールがあるんだよ。営業のデータ分析でも同じで、「この指標がこの水準を超えたら施策を変える」と先に決めておくことが大事だと思うよ。

いちこ

基準を先に決めることで、判断がぶれなくなるんですね。

• 賞味期限。
• 不正検知。
• ローン審査。

3つに共通しているのは「先に基準を決めることで、判断が明確になる」ということだ。

統計の有意水準も同じ。 「p値がいくつ以下なら偶然ではないと判断するか」を先に決めておく。 これが有意水準だ。

3. p値・有意水準とは何か

p値とは

帰無仮説(差はない)が正しいとしたとき、今回観測したデータと同じかそれ以上に極端な結果が偶然得られる確率だ。

• p値が高い → 偶然でも起きうる → 差があるとは言えない
• p値が低い → 偶然では説明できない → 差がある可能性が高い

有意水準とは

「p値がいくつ以下なら偶然ではないと判断するか」の基準だ。 慣習的に0.05(5%)が使われることが多い。

4. 図で見る

p値と有意水準の関係を視覚化するとこうなる。

p値が0.05の線を境に「偶然ではない(有意差あり)」と「偶然の範囲内」が分かれる。 この線が有意水準だ。

ここで2つのことを覚えておいてほしい。

① p値は「偶然の確率」。低いほど偶然では説明できない

p値0.03は「帰無仮説が正しいとき、今回の差が偶然出る確率が3%」という意味だ。 3%しかない偶然の確率 → 帰無仮説は正しくない可能性が高い → 差がある。

② 有意水準は先に決める。データを見てから変えない

ローン審査と同じで、基準は先に決めておく。 データを見た後に「p値が0.06だったから有意水準を0.10にしよう」は反則だ。 分析の信頼性を保つために、有意水準は必ず事前に設定する。

5. 計算式

シュン

教科書的な計算式も紹介しておくね。

いちこ

シーン別の記事では、プロンプトも紹介してくれてますね。まさに生成AIに頼るところですね！

p値の判断フロー

• $p$: p値(計算で求める)
• $\alpha$: 有意水準(事前に決める。通常0.05)

よく使う有意水準の表記

論文やレポートでこの表記を見たら、「*が多いほど偶然の確率が低い」と理解すればいい。

6. まとめ

いちこ

この統計テーマを使った事例記事も見てみてね♪

この統計テーマを使った営業シーン記事

• セミナー効果の検証 ― p値でセミナーの効果を統計的に判断する
• 仮説検定とは ― p値と有意水準を使った検定の手順を学ぶ