Pythonでt検定とカイ二乗検定をする方法【scipyで2つのグループの差は偶然かを調べる】
「広告を見た人と見ていない人で、満足度に差がある」「購入率が5ポイント高い」——集計で差が見つかっても、それがたまたま出た差なのか、意味のある差なのかは、数字を見ただけではわかりません。
それを確かめるのが検定です。この記事では、Google ColabのPython(scipy)で、平均の差を調べるt検定と、割合の差を調べるカイ二乗検定のやり方を解説します。
同じ分析をRで行う方法は、Rでt検定とカイ二乗検定をする方法で紹介しています。
どちらの検定を使う?
| 比べたいもの | データの例 | 検定 | Pythonの関数(scipy.stats) |
|---|---|---|---|
| 2つのグループの平均 | 満足度(0〜10点)、購入金額 | t検定 | ttest_ind() |
| 2つのグループの割合 | 購入した/しない、男性/女性 | カイ二乗検定 | chi2_contingency() |
p値の考え方
検定では、次のような順番で考えます。
- まず「2つのグループに差はない」と仮定する(帰無仮説)
- その仮定のもとで、今回のデータくらいの差が、偶然に出る確率を計算する。これがp値
- p値がとても小さければ(一般に0.05未満)、「差がないと考えるには無理がある」として、差がある(有意差がある)と判断する
p値が0.05以上のときは、「差がない」と証明されたわけではなく、「差があるとは言えない」という結論になります。
この記事で使うデータ
架空の商品アンケート survey.csv(400人分)を使います。ad_contact は広告を見たか(1:見た、0:見ていない)、purchase は購入したか(1:購入、0:非購入)、satisfaction は総合満足度(0〜10)です。
import pandas as pd
from scipy import stats
survey = pd.read_csv("https://www.bistro.business/files/r/survey.csv")
t検定:満足度の平均に差はある?
広告を見た人と見ていない人で、総合満足度の平均を比べます。まずは集計してみましょう。
survey.groupby("ad_contact")["satisfaction"].agg(["count", "mean"]).round(2)
実行結果
count mean
ad_contact
0 220 6.06
1 180 6.22
広告を見た人(1)のほうが、満足度が0.16点高くなっています。この差が偶然かどうかを、t検定で確かめます。
seen = survey.query("ad_contact == 1")["satisfaction"]
not_seen = survey.query("ad_contact == 0")["satisfaction"]
result = stats.ttest_ind(seen, not_seen, equal_var=False)
ci = result.confidence_interval(confidence_level=0.95)
print(f"t値: {result.statistic:.3f}")
print(f"p値: {result.pvalue:.4f}")
print(f"平均の差の95%信頼区間: {ci.low:.2f} 〜 {ci.high:.2f}")
実行結果
t値: 0.951
p値: 0.3421
平均の差の95%信頼区間: -0.16 〜 0.47
| 項目 | 読み方 |
|---|---|
| p値 = 0.3421 | 0.05より大きい → 差があるとは言えない |
| 平均の差の95%信頼区間 | 本当の平均の差は、-0.16〜0.47の範囲にあると考えられる。0をまたいでいるので、差が0の可能性を否定できない |
equal_var=False は、2つのグループのばらつきが同じとは限らない、という前提で計算する方法(ウェルチのt検定)です。Rの t.test() も、初期設定ではこの方法で計算します。特に理由がなければ、equal_var=False を付けておきましょう。
性別で比べた場合
同じように、性別で満足度を比べてみます。
female = survey.query("gender == '女性'")["satisfaction"]
male = survey.query("gender == '男性'")["satisfaction"]
stats.ttest_ind(female, male, equal_var=False).pvalue.round(4)
実行結果
np.float64(0.6829)
p値は0.68で、性別による満足度の差も見られませんでした。
カイ二乗検定:購入率に差はある?
次は、広告を見た人と見ていない人で、購入率に差があるかを調べます。購入した・しないのような割合の比較には、カイ二乗検定を使います。
まず、クロス集計表を作ります。
tab = pd.crosstab(survey["ad_contact"], survey["purchase"])
tab
実行結果
purchase 0 1
ad_contact
0 163 57
1 91 89
行ごとの割合にすると、購入率が比べやすくなります。
(pd.crosstab(survey["ad_contact"], survey["purchase"], normalize="index") * 100).round(1)
実行結果
purchase 0 1
ad_contact
0 74.1 25.9
1 50.6 49.4
広告を見ていない人の購入率は約26%、見た人は約49%と、大きな差があります。カイ二乗検定で確かめます。
chi2, p, dof, expected = stats.chi2_contingency(tab)
print(f"カイ二乗値: {chi2:.3f}")
print(f"自由度: {dof}")
print(f"p値: {p:.3e}")
実行結果
カイ二乗値: 22.655
自由度: 1
p値: 1.938e-06
p値は 1.938e-06(=0.000001938)で、0.05を大きく下回りました。広告を見た人のほうが購入率が高いという差は、偶然とは考えにくい、と判断できます。
expected には、「差がない」と仮定したときに期待される人数が入っています。期待される人数が5未満のマスがある場合は、カイ二乗検定の結果が不正確になるため、stats.fisher_exact()(フィッシャーの正確検定)を使います。
expected.round(1)
実行結果
array([[139.7, 80.3],
[114.3, 65.7]])
今回はどのマスも5を大きく超えているので、カイ二乗検定で問題ありません。
なお、2×2のクロス集計表では、chi2_contingency() は自動で「イェーツの補正」という調整を行います。Rの chisq.test() も同じ補正を行うので、結果は一致します。
結果をどう読むか
| 比較 | 差 | p値 | 判断 |
|---|---|---|---|
| 広告接触 × 満足度 | 6.06点 → 6.22点 | 0.34 | 差があるとは言えない |
| 性別 × 満足度 | ― | 0.68 | 差があるとは言えない |
| 広告接触 × 購入率 | 約26% → 約49% | 0.000002 | 有意差あり |
広告は、満足度には関係していないものの、購入には関係している可能性がある、と読み取れます。
検定を使うときの注意点
- 有意差は「差の大きさ」ではない:データの件数が多いと、ごく小さな差でもp値は小さくなります。p値だけでなく、実際の差の大きさが、ビジネスとして意味があるかを考えましょう
- 有意差は因果関係の証明ではない:広告を見た人は、もともと商品に興味がある人だった可能性もあります。ほかの要因の影響もあわせて考えるには、ロジスティック回帰分析が役立ちます
- 何度も検定を繰り返さない:たくさんの組み合わせで検定すると、本当は差がないのに、偶然「有意」になるものが出てきます。3つ以上のグループを比べるときは、分散分析を使います
まとめ
- 平均の差は
stats.ttest_ind(グループ1, グループ2, equal_var=False) - 割合の差は、
pd.crosstab()でクロス集計表を作ってstats.chi2_contingency(表) - p値が0.05未満なら「有意差あり」。0.05以上なら「差があるとは言えない」
- p値だけでなく、差の大きさと、ほかの要因の可能性もあわせて考える
NEWSLETTER
Data Schoolの新着記事をメールで受け取る
新しい記事が公開されたら、メールでお知らせします。配信はいつでも停止できます。
