研修・施策の効果測定はどうやるか

研修・施策の効果測定はどうやるか ― 「上がった」を効果と証明する

営業研修を実施した。

翌月、受注額が少し上がった気がする。

役員に聞かれた。「で、あの研修は効果あったの?」

「上がったので、効果はあったと思います」と答えたが、

同じ月、たまたま大型案件が重なっただけかもしれない。

季節要因かもしれないし、研修を受けていないチームも伸びているかもしれない。

いちこ

「上がった=研修のおかげ」とは、言い切れないですね。

シュン

そこなんだよ。効果測定は“比べる相手”をどう置くかで決まる。比較の設計がないと、ただの感想になってしまう。

効果を「検証」する設計

効果測定の肝は、比較対象(対照)を置くことだ。理想は、研修を受けたチームと受けていないチームを比べること(対照群)。難しければ、同一チームの前後で比べる。

そのうえで、受注額の平均の差が「偶然の範囲を超えているか」を検定する。

• 見た目は37万の差。だが各チームのばらつきと人数しだいで意味が変わる。
• 平均の差の検定(2標本)で、偶然の範囲を超えているか判定する。
• 対照群がないと「季節要因」と「研修効果」を切り分けられない。

会議での声かけ例

「効果を見たいので、研修を受けたチームと受けていないチームで、翌月の受注額を比べませんか。差が偶然の範囲かも確かめます。」

「全員一斉にやると比較相手がいなくなるので、まず半分で試して差を見ましょう。」

なぜ「対照群+平均の差の検定」なのか

施策の効果とは「施策があったときと、なかったときの差」。なかったとき(対照)を用意して初めて、季節や景気の影響を差し引ける。これは観察でなく実験の発想だ。

差が本物かは、2群の平均の差の検定で判定する。少人数だと本当の効果も見逃す(検出力不足)点に注意する。

いちこ

「比べる相手を作る」だけで、説明の説得力が変わりますね。

シュン

うん。効果測定は比較設計がすべてだよ。

生成AIとの対話例

営業研修の効果を検証したい。
・実施チーム15人: 翌月の平均受注額 342万(標準偏差 90万)
・非実施チーム15人: 平均 305万(標準偏差 85万)
この差は統計的に有意と言える?2標本のt検定で、p値と結論を出して。前提も教えて。

生成AIに渡せば10秒で計算できる。手計算は不要。

まとめ

施策の効果検証の全体像は、課題ガイド「その施策、本当に効いたか」にまとめている。

いちこ

この判断に使った統計も見てみてね♪

• 仮説検定 ― 偶然か本物かを判定する枠組み
• 2つの平均を比べる ― 実施/非実施の平均差を検定
• 実験研究と観察研究 ― 対照群を置く発想