施策後に数字が上がった。だがその施策のおかげとは限らない。効果を切り分けるための論点を3つ紹介する。
✓お勧めする人
- 施策の効果を報告する立場
- KPIを設計する
- 相関と因果の区別をつけたい
−おすすめしない人
- 分析の実装手順が欲しい
- 営業の具体的手法を探している
著者について
伊藤公一朗
シカゴ大学公共政策大学院 准教授
- 経歴
- 経済学の因果推論を専門とし、電力政策などの政策効果を実データで検証してきた
- 実績
- 数式を使わずに因果推論の考え方を説明した
目的
研修を実施した。受注率が3%上がった。報告書には「研修の効果」と書いた。
だがその3%は、研修がなくても上がっていたかもしれない。本書を読む目的は、効果があったと言える条件を知ることにある。
論点1 効果は、変化ではなく差で測る
本書の出発点は比較対象だ。施策を受けなかったグループを置くと、見え方が変わる。
- 受けた組 +3% / 受けない組 +2.5% → 差は0.5%
- 市場全体が上がっていた … 研修の寄与はわずか
「上がった」は効果の証拠にならない。対照群を置く手順は その施策、本当に効いたか に統計側の整理がある。
いちこ
比較対象を作ると、片方に研修を受けさせないことになりますね。
シュン
そこが悩みどころなんだ。時期をずらして順に実施する、という手もあるよ。
論点2 社内の線引きは、自然な実験になっている
本書が紹介する手法のうち実務で使えるのが、境目を使う比較だ。
たとえば従業員300名で担当チームが切り替わる制度があるとき、299名の会社と301名の会社はほぼ同じで、担当だけが違う。この両側を比べると、担当体制の効果が見える。
自社の制度にある「◯以上/未満」の線を1つ探す。その両側を比べると、追加の調査なしで効果が測れる。
論点3 相関でKPIを置くと、動かしても効かない
訪問が多い担当は受注も多い。だが裏に良い既存顧客を持っているという共通の原因があることがある。
この場合、訪問を増やしても受注は増えない。相関だけでKPIを置くと、動かしても効かない数字が残る。見分け方は そのKPI、本当に成果につながるか に。
いちこ
相関が出たら、それを目標にしていました。
シュン
よくあるんだ。その数字を自分で動かしたとき、本当に結果が動くかを一度試すといいよ。
この本の限界と、次に読む本
事例は電力や公共政策が中心で、営業の話は出てこない。手法を自分の数字に当てはめて読む必要がある。同じ領域では 「原因と結果」の経済学 のほうが事例が身近。思い込みの型なら FACTFULNESS が隣に並ぶ。
Amazonで見る Amazonのアソシエイトとして、SaleStats Lab は適格販売により収入を得ています。
自社の数字で確かめる
この本の考え方を、統計で検証する側の記事です。
数と因果のほかの本
- FACTFULNESS ハンス・ロスリング・オーラ・ロスリング・アンナ・ロスリング・ロンランド
- 統計学が最強の学問である 西内啓
- 「原因と結果」の経済学 中室牧子・津川友介
- 定量分析の教科書 グロービス
- 「数字で考える」は武器になる 中尾隆一郎
- 予想どおりに不合理 ダン・アリエリー