分散分析(回帰の文脈)

分散分析(回帰の文脈)とは ― モデル全体が「意味あるか」を判定する

1. この記事で学べること

いちこ

今回は「分散分析」を、回帰の文脈で学んでいきましょう〜

シュン

名前はかたいけど、「作ったモデルは全体として意味があるの?」を確かめる話なんだよね。

いちこ

一つ一つの変数じゃなくて、モデルを丸ごと見る視点なんですね。

2. エピローグ

「勉強時間・睡眠時間・部活動時間」の3つから、テストの点数を予測する重回帰式を作ってみたことがあった。

式はできた。決定係数もそこそこ良い値が出た。

でも、ふと疑問がわいた。

「この3つの変数を使った予測モデル全体が、本当に意味のある予測をできていると言えるのか。それとも、たまたま数字が並んだだけなのか」

個々の変数の効果は気になるが、その前に「そもそもこのモデル全体が使えるものなのか」を確かめたくなった。

いちこ

「モデル全体が意味あるか」って、勉強時間の例だけの話じゃない気がします。

シュン

そうだね。仕事でも同じ形の悩みに出会うんだ。次の話が近いんじゃないかな。

会社の先輩が、「気温・湿度・曜日」から売上を予測する重回帰式を作っていたときも、同じような話をしていた。

「3つの変数を使えば使うほど、それっぽい式は作れる。でも、そのモデル全体が本当に売上の変動をちゃんと説明できているのか、まず確認しないといけないんだよね」

・テスト点数の予測モデル ・売上の予測モデル

2つに共通しているのは、 「個々の変数だけでなく、モデル全体が意味のある予測をしていると言えるか」を確かめたい、ということだ。

この「モデル全体の有意性」を検証する手法が、回帰の文脈での分散分析だ。

3. 分散分析(回帰の文脈)とは何か

分散分析(ANOVA)とは、複数の説明変数を使った回帰モデル全体が、目的変数のばらつきを説明できているかを検定する手法だ。

個々の係数検定との違い

• 回帰係数の検定:1つ1つの変数(勉強時間など)が個別に意味があるかを見る
• 分散分析:モデル全体(勉強時間・睡眠時間・部活動時間をまとめて)が意味があるかを見る

両方を確認することで、「モデル全体は有効だが、この変数だけは効いていない」といった詳しい診断ができる。

4. 図で見る

重回帰モデルの分散分析結果を、モデルで説明できる変動と、説明できない変動(誤差)に分けて見てみる。

このモデルでは、テスト点数のばらつきの68%が「勉強時間・睡眠時間・部活動時間」で説明でき、残り32%は誤差(他の未知の要因)ということになる。

分散分析では、この「説明できる変動」が偶然の範囲を超えて大きいかどうかを検定し、モデル全体の有意性を判断する。

いちこ

68%も説明できていたら、もう合格って感じがします。

シュン

数字の大きさだけじゃなくて、その分が「偶然の範囲を超えて大きいか」を確かめるのが分散分析なんだよね。

いちこ

見た目の大きさじゃなくて、偶然かどうかで判断するんですね。

ここで2つのことを覚えておいてほしい。

① モデル全体の検証は、個々の係数検定とは別に必要 1つ1つの変数の効果を見る前に、まずモデル全体が意味のある予測をできているかを確認する。

② 「説明できる変動」の大きさが判断材料になる モデルが説明できる変動が、誤差(説明できない変動)に対して十分大きければ、モデル全体は有意と判断できる。

5. まとめ

シュン

モデル全体が有意でも、一つ一つの変数が全部効いているとは限らない。両方を見て、初めて診断になるんだよね。

いちこ

この統計テーマを使った事例記事も見てみてね♪