新トークスクリプトの効果を「気のせい」と見分ける

新トークスクリプトの効果を「気のせい」と見分ける

新しいトークスクリプトを作った。

試しに数人のメンバーで使ってもらったら、受注率が上がった気がする。

従来20%くらいだったのが、新トークでは28%。

「これは効く。全員に展開しよう。」

でも、使ったのは数人・商談も十数件ずつ。

この8ポイントの差は、新トークの力なのか、たまたま調子が良かっただけなのか。

いちこ

少ない商談だと、受注率はけっこう上下しますよね。

シュン

そうなんだ。少数の“上がった気がする”で全社展開すると、効かないトークを広げて現場を混乱させることがある。気のせいと本物を分けよう。

「気のせい」と本物を分ける

従来トークと新トークで、受注率(または受注額)に差があるかを検定する。商談数が少ないと、差があっても「偶然の範囲」と出る(=まだ判断できない)。

• 見た目は8ポイント改善。だが各十数件では偶然の範囲に収まりやすい。
• 差が本物かは検定で判定。足りなければ商談数を積む。
• 「効果なし」と「まだ分からない」は違う。判断保留も立派な判断。

会議での声かけ例

「新トーク、良さそうだね。ただ十数件だと偶然かもしれない。もう少し商談を積んで、差が本物か確かめてから展開しよう。」

「“効かない”んじゃなくて“まだ判断できない”だけ。あと◯件たまったら再判定しよう。」

なぜ「検定+検出力」なのか

受注率の差が偶然かは検定で分かる。ただし商談数が少ないと、本当に効果があっても見逃す(第2種の過誤)。だから「有意差なし=効果なし」ではない。十分な商談数(検出力)を確保してから結論づける。

いちこ

「まだ分からない」をちゃんと言えるのは強いですね。

シュン

早とちりと見逃し、両方を避ける意識が大事だよ。

生成AIとの対話例

新トークスクリプトの効果を検証したい。
・従来トーク: 40商談で8受注(受注率20%)
・新トーク: 25商談で7受注(受注率28%)
この差は統計的に有意?割合の差の検定でp値と結論を。有意でない場合、あと何件あれば判断できそうかも教えて。

生成AIに渡せば10秒で計算できる。手計算は不要。

まとめ

施策の効果検証の全体像は、課題ガイド「その施策、本当に効いたか」にまとめている。

いちこ

この判断に使った統計も見てみてね♪

• 2つの割合を比べる(A/Bテスト) ― 受注率の差が偶然かを検定
• 検定の2つの過誤と検出力 ― 見逃し(第2種)を避ける
• t検定 ― 受注額など平均で比べる場合