セミナー集客は本当に受注につながっているのか ― z検定で「効果」を正しく捉える

1. 実例：セミナーに力を入れているのに、受注が増えた気がしない

先日、あるSaaS企業の営業マネジャーの方からこんな相談をいただきました。

「マーケが月2回ウェビナーを開催していて、毎回50〜80名が参加してくれます。インサイドセールスがフォローすると『勉強になりました』という反応はいいんですが、受注につながっているのか正直分かりません。マーケは『参加者の受注率は高い』と言うんですが、データで見たことがなくて。」

実際にデータを整理していただくと、こんな状況でした。

一見すると、セミナー参加者の受注率(15%)は未参加者(10%)より5ポイント高く、「セミナー効果あり」に見えます。しかしこの差は本当に意味のある差なのでしょうか。それとも単なる偶然でしょうか。

2. 解決策：z検定で「この差は偶然か必然か」を数値で判断する

5ポイントの差があっても、サンプル数が少なければ偶然起きる可能性があります。逆にサンプル数が多ければ、わずか1ポイントの差でも統計的に意味のある差といえます。

これを判断するのがz検定(比率の差の検定)です。

今回のデータで計算すると以下のようになります。

• 帰無仮説:セミナー参加者と未参加者の受注率に差はない
• z値: 1.96
• p値: 0.049

p値が0.05を下回っているため、この差は統計的に有意です。つまり「セミナー参加者の受注率が高いのは偶然ではない」とデータが示しています。

面談・会議での声かけ例

マーケ担当者への共有

「先月のウェビナー参加者の受注率を分析したところ、未参加者と比べて統計的に有意な差が出ました。z検定のp値が0.049で、5%水準で有意です。セミナーの効果はデータで裏付けられています。次のステップとして、どのコンテンツが受注率に最も貢献しているか、テーマ別に分析してみませんか。」

ISメンバーへの共有

「セミナー参加者へのフォローは、データ上でも効果が出ています。参加者の受注率は15%で未参加者の10%より有意に高い。ただし信頼区間を見ると9〜21%と幅があります。フォローの質を上げることで、この上限に近づけることが次の目標です。」

経営会議でのレポート

「ウェビナー施策の費用対効果を検証しました。参加者の受注率は15%で未参加者の10%と比較してz検定でp=0.049、統計的に有意な差があります。セミナーへの投資継続を推奨します。」

3. なぜz検定なのか：選定理由と計算式

選定理由

「セミナー参加者の受注率が高い」という観察は、3つの可能性があります。

1. セミナーが受注率を高めている(因果関係)
2. もともと購買意欲の高い人がセミナーに参加している(逆因果)
3. たまたまそうなっただけ(偶然)

z検定は3番目の「偶然ではないか」を排除するための検定です。1と2の区別(因果関係の特定)はz検定だけでは難しいですが、少なくとも「この差は誤差の範囲ではない」と言えるようになります。

2つの比率(割合)を比較する場合、サンプル数が30以上あればz検定が使えます。t検定との違いは、t検定が「平均値」の比較に使うのに対し、z検定は「比率」の比較に使う点です。

計算式

合計受注率(プールされた比率)

標準誤差

z値

z値が1.96以上であれば、p値が0.05未満(有意水準5%)で「差は偶然ではない」と判断できます。

よくある誤解

z検定で「有意差あり」が出ても、「セミナーが受注を増やした」とは言い切れません。購買意欲の高い人がセミナーに来やすいというバイアス(選択バイアス)が存在する可能性があります。より厳密に因果関係を示したい場合は、ランダムに参加・不参加を割り当てるA/Bテストが必要です。

ただし実務では「統計的に有意な差がある」というだけで、施策継続の判断材料として十分機能します。

4. 生成AIとの対話例：このプロンプトで誰でも同じ分析ができます

実際にこの分析をする際、生成AIに以下のように依頼すると、計算と解釈をまとめて出力してくれます。

あなたは営業データ分析の専門家です。
以下は自社ウェビナー参加者と未参加者の受注データです。

セミナー参加者: リード数120名、受注数18名、受注率15%
セミナー未参加者: リード数380名、受注数38名、受注率10%

以下を行ってください。
1. 2つの受注率の差をz検定で検定し、p値を計算する
2. 有意水準5%で差が統計的に有意かどうか判断する
3. それぞれの受注率の95%信頼区間を計算する
4. セミナー施策を継続すべきかどうか、データをもとに判断する
5. マーケ担当者・ISメンバー・経営会議それぞれへの報告文を作成する

出力は、営業マネジャーがそのまま会議資料として使えるよう、簡潔な日本語でまとめてください。