実験研究と観察研究とは ― 「効果を正しく測る」手法とは

1. この記事で学べること

いちこ

今回は「実験研究」と「観察研究」の違いを理解していきましょう〜

2. エピローグ

最近、寝つきが悪い。

友人から「アイマスクをつけると睡眠の質が上がるよ」と聞いた。

本当に効果があるのか、試してみることにした。

2週間、アイマスクをつけた日とつけなかった日を交互にして、睡眠アプリのスコアを毎朝記録した。

• アイマスクあり(7日間): 平均スコア82点
• アイマスクなし(7日間): 平均スコア74点

8点の差が出た。 アイマスクが効いているのか。

ただ「つけた日の平均が高かった」だけでは不十分だ。

• アイマスクをつけた日がたまたま体調が良かっただけかもしれない。
• 曜日や疲れ具合が影響していたかもしれない。

「アイマスクをつけた群」と「つけなかった群」を意図的に分けて比べることで、 初めてアイマスクの効果が測定できる。

いちこ

交互にしたのは、なぜですか？

シュン

「アイマスクをつける2週間」と「つけない2週間」に完全に分けると、季節や体調の変化が影響するかもしれないんだよね。交互にすることで、その影響を均等にしようとしているんだよ。

SNSでこんな記事を見かけた。

「日記を書く人は自己肯定感が高い。毎日日記を書くことで、自分と向き合う時間が生まれ、前向きな思考が身につく。」

なるほど、と思った。 でも、ふと疑問が浮かんだ。

• 「日記を書くから自己肯定感が高い」のか。
• 「もともと自己肯定感が高い人が日記を書く習慣を持ちやすい」のか。

例えば、「日記を書く人」と「書かない人」を観察して比べた結果から調べるとする。

これを観察研究と呼ぶ。

一方で、本当に日記の効果を確かめるには、こうする必要がある。

• 処理群: 1ヶ月間、毎日日記を書いてもらうグループ
• 対照群: 1ヶ月間、日記を書かないグループ

2つのグループに分けて、前後の自己肯定感スコアを比べる。 これが実験研究だ。

シュン

この「処理群と対照群」に分けるというのが、実験研究の核心なんだよね。

いちこ

対照群がないと、比べる基準がなくて効果が分からないんですね。

シュン

そうそう。営業の現場でも全く同じことが起きるんだよ。「新しいトークスクリプトを導入したら受注率が上がった」というのが観察研究で、「スクリプトを使うチームと使わないチームに分けて比べた」というのが実験研究なんだよ。

いちこ

対照群を設けることで、本当に効果があったかどうかが分かるんですね！

• アイマスクの効果
• 日記と自己肯定感。

2つに共通しているのは「効果を正しく測るには、やった群とやらなかった群を比べる必要がある」ということだ。

そして「観察するだけ」では分からない「原因と結果」を明らかにするのが、実験研究だ。

3. 実験研究と観察研究とは何か

観察研究とは

研究者が介入せず、自然に起きていることを観察して記録する方法だ。 「日記を書く人は自己肯定感が高い」のような、自然な状態のデータを集めて分析する。

実験研究とは

研究者が意図的に条件を操作して、その効果を測定する方法だ。 「処理群(介入あり)」と「対照群(介入なし)」に分けて比較する。

処理群と対照群

実験研究の核心は「処理群」と「対照群」を設けることだ。

• 処理群(実験群): 介入を行うグループ
• 対照群(コントロール群): 介入を行わないグループ

2つのグループの差が「介入の効果」になる。

4. 図で見る

アイマスクの効果を処理群と対照群で比較するとこうなる。

処理群の方が8点高い。 この差が「アイマスクの効果」として測定できる。

次に実験研究と観察研究で分かることの違いを整理するとこうなる。

いちこ

2つのことを覚えておこう。

① 「関係がある」と「原因がある」は別の話

「コーヒーを飲む人は仕事ができる」は観察研究の結果かもしれない。

でも「コーヒーが仕事能力を上げる」とは言えない。

もともと仕事熱心な人がコーヒーをよく飲むだけかもしれない。 因果関係を証明するには実験研究が必要だ。

② 営業現場の「効果検証」は観察研究になりがち

例えば、「新しいスクリプトを導入したら受注率が上がった」はどうだろうか？

感覚的に受け入れてもらえそうな場面も想像できそうだが、 これは観察研究であるため、因果関係は証明できない。ということになる。

他の要因(季節・市場環境・メンバーの成長)が影響している可能性もあるため、 本当の効果を測るには、意図的に処理群と対照群を設けて比べることが理想だ。

シュン

実験研究の方が理想的に感じるかもしれないけど、チームを2つに分けて片方だけ新しい手法を試すと、対照群のメンバーが不満を持つことがあるんだ。

いちこ

実務的な制約を考慮しながら、できる範囲で対照群を設けるか、観察研究の限界を意識した上でデータを解釈することが大事なんですね。

5. 計算式

実験研究の効果を数値化するには、処理群と対照群の差を検定する。

効果量の計算(コーエンのd)

• $\bar{x}_{処理群}$: 処理群の平均
• $\bar{x}_{対照群}$: 対照群の平均
• $s_{pooled}$: 2グループをまとめた標準偏差

効果量の目安

6. まとめ

いちこ

この統計テーマを使った事例記事も見てみてね♪

この統計テーマを使った営業シーン記事

• セミナー効果の検証 ― 処理群と対照群でセミナーの効果を測定する
• リード分析の基本 ― 施策の効果を正しく測定する方法を学ぶ