データ分析の力 の書影

データ分析の力

因果関係に迫る思考法

伊藤公一朗

施策後に数字が上がった。だがその施策のおかげとは限らない。効果を切り分けるための論点を3つ紹介する。

✓お勧めする人

  • 施策の効果を報告する立場
  • KPIを設計する
  • 相関と因果の区別をつけたい

−おすすめしない人

  • 分析の実装手順が欲しい
  • 営業の具体的手法を探している

著者について

伊藤公一朗

シカゴ大学公共政策大学院 准教授

経歴
経済学の因果推論を専門とし、電力政策などの政策効果を実データで検証してきた
実績
数式を使わずに因果推論の考え方を説明した

光文社 / 2017年4月

目的

研修を実施した。受注率が3%上がった。報告書には「研修の効果」と書いた。

だがその3%は、研修がなくても上がっていたかもしれない。本書を読む目的は、効果があったと言える条件を知ることにある。

論点1 効果は、変化ではなく差で測る

施策後の数字だけ見る 研修後、受注率が3%上がった 研修のおかげか分からない 比較対象を置く 受けた組 +3% / 受けない組 +2.5% 差は0.5%。市場全体が上がっていた 研修 受けた組 受けない組 効果は数字の変化ではなく、比較対象との差で測る
施策後の数字だけを見る場合と、比較対象を置いて差を見る場合。

本書の出発点は比較対象だ。施策を受けなかったグループを置くと、見え方が変わる。

  • 受けた組 +3% / 受けない組 +2.5% → 差は0.5%
  • 市場全体が上がっていた … 研修の寄与はわずか

「上がった」は効果の証拠にならない。対照群を置く手順は その施策、本当に効いたか に統計側の整理がある。

いちこ

いちこ

比較対象を作ると、片方に研修を受けさせないことになりますね。
シュン

シュン

そこが悩みどころなんだ。時期をずらして順に実施する、という手もあるよ。

論点2 社内の線引きは、自然な実験になっている

従業員規模 300名で担当が切り替わる 299名の会社 中小チームが担当 301名の会社 大手チームが担当 境目のすぐ両側は、ほぼ同じ会社で担当だけが違う 社内の線引きは、効果を測るための自然な実験になっている
制度の境目の前後で、近い条件のグループを比べる。

本書が紹介する手法のうち実務で使えるのが、境目を使う比較だ。

たとえば従業員300名で担当チームが切り替わる制度があるとき、299名の会社と301名の会社はほぼ同じで、担当だけが違う。この両側を比べると、担当体制の効果が見える。

自社の制度にある「◯以上/未満」の線を1つ探す。その両側を比べると、追加の調査なしで効果が測れる。

論点3 相関でKPIを置くと、動かしても効かない

見えている相関 訪問が多い 受注が多い 相関はある 裏にあるもの 良い既存顧客 訪問が多い 受注が多い 訪問を増やしても受注は増えない 相関を見てKPIを置くと、動かしても効かない数字が残る
相関が見えても因果とは限らない。

訪問が多い担当は受注も多い。だが裏に良い既存顧客を持っているという共通の原因があることがある。

この場合、訪問を増やしても受注は増えない。相関だけでKPIを置くと、動かしても効かない数字が残る。見分け方は そのKPI、本当に成果につながるか に。

いちこ

いちこ

相関が出たら、それを目標にしていました。
シュン

シュン

よくあるんだ。その数字を自分で動かしたとき、本当に結果が動くかを一度試すといいよ。

この本の限界と、次に読む本

事例は電力や公共政策が中心で、営業の話は出てこない。手法を自分の数字に当てはめて読む必要がある。同じ領域では 「原因と結果」の経済学 のほうが事例が身近。思い込みの型なら FACTFULNESS が隣に並ぶ。

Amazonで見る Amazonのアソシエイトとして、SaleStats Lab は適格販売により収入を得ています。

自社の数字で確かめる

この本の考え方を、統計で検証する側の記事です。

数と因果のほかの本