多重共線性・ダミー変数

多重共線性・ダミー変数とは ― 営業マネジャーのための「重回帰でつまずく2つの落とし穴」

1. この記事で学べること

2. エピローグ

健康診断の結果で、体調を予測したいとする。

身長と体重、両方を説明に入れてみた。

ところが、この2つはそもそも強く関係している。

似た情報を2つ入れると、「どちらがどれだけ効いたのか」が分けられなくなる。

結果として、係数がぐらぐら不安定になる。

いちこ

似たもの同士を両方入れると、役割が分けられないんですね。

シュン

そうなんだ。強く相関する説明変数を一緒に入れると、係数の符号が逆になったりして、解釈できなくなる。これが多重共線性だよ。

別の悩みもある。

分析に「業種」を入れたい。でも業種は数字じゃない。

IT・製造・小売…をそのまま計算には使えない。

そこで「ITなら1、そうでなければ0」のような形に置き換える。

いちこ

数字でない情報も、0と1にすれば回帰に入れられるんですね。

シュン

それがダミー変数だよ。重回帰でよく使う2つの道具を、まとめて見ていこう。

似た変数を入れる危うさ(多重共線性)と、質的な情報を入れる工夫(ダミー変数)。

どちらも重回帰を使うときの必須知識だ。

3. 多重共線性・ダミー変数とは何か

土台は重回帰分析だ。複数の説明変数で結果を予測する、あの分析。

多重共線性とは、説明変数どうしが強く相関しているために、各変数の係数が不安定になり信頼できなくなる状態をいう。

• 係数の符号が直感と逆になる
• データが少し変わると係数が大きく動く

変数間の相関の強さは相関係数で確認できる。

ダミー変数とは、質的な変数(業種・地域など)を0と1に置き換えて回帰に入れる工夫だ。カテゴリがk個なら、ダミーは k−1 個つくる。

4. 図で見る

多重共線性の強さは、VIF(分散拡大係数)という指標で測れる。

たとえば「訪問回数」と「商談回数」のように強く相関する変数を一緒に入れると、VIFが跳ね上がる。

• VIFが大きいほど、その係数は不安定で信頼できない。
• 目安として、VIFが10を超えると多重共線性が強いとされる。
• 対策は、似た変数のどちらかを外す/まとめることだ。

覚えておきたいのは2つ。

① 説明変数は多ければよいのではない。似た変数の入れすぎは逆効果。

② 質的変数はダミー化して入れる。基準カテゴリを1つ残す(k−1個)。

各係数が意味を持つかは回帰係数の検定で確かめられる。

5. 計算式

シュン

教科書的な計算式も紹介しておくね。

いちこ

シーン別の記事では、プロンプトも紹介してくれてますね。まさに生成AIに頼るところですね！

VIF(分散拡大係数)。R_j² は、変数jを他の説明変数で回帰したときの決定係数

• $R_j^{2}$が大きい(他の変数で説明できる)ほどVIFは大きい
• VIF > 10 が多重共線性の一つの目安

ダミー変数は、k水準の質的変数に対し k−1 個つくる(残り1つは基準)。

生成AIに渡せば10秒で計算できる。手計算は不要。

6. まとめ

土台は重回帰分析、係数の意味は

いちこ

この統計テーマを使った事例記事も見てみてね♪

• 架電量と成果の関係 ― 似た指標を混ぜる前に相関を見る
• 相関係数 ― 変数間の相関の強さを測る
• 残差プロット ― モデルのクセを図で確かめる