Python

Pythonでt検定とカイ二乗検定をする方法【scipyで2つのグループの差は偶然かを調べる】

酒井 裕麻株式会社Bistro 代表取締役社長

「広告を見た人と見ていない人で、満足度に差がある」「購入率が5ポイント高い」——集計で差が見つかっても、それがたまたま出た差なのか、意味のある差なのかは、数字を見ただけではわかりません。

それを確かめるのが検定です。この記事では、Google ColabのPython(scipy)で、平均の差を調べるt検定と、割合の差を調べるカイ二乗検定のやり方を解説します。

同じ分析をRで行う方法は、Rでt検定とカイ二乗検定をする方法で紹介しています。

どちらの検定を使う?

比べたいもの データの例 検定 Pythonの関数(scipy.stats)
2つのグループの平均 満足度(0〜10点)、購入金額 t検定 ttest_ind()
2つのグループの割合 購入した/しない、男性/女性 カイ二乗検定 chi2_contingency()

p値の考え方

検定では、次のような順番で考えます。

  1. まず「2つのグループに差はない」と仮定する(帰無仮説)
  2. その仮定のもとで、今回のデータくらいの差が、偶然に出る確率を計算する。これがp値
  3. p値がとても小さければ(一般に0.05未満)、「差がないと考えるには無理がある」として、差がある(有意差がある)と判断する

p値が0.05以上のときは、「差がない」と証明されたわけではなく、「差があるとは言えない」という結論になります。

この記事で使うデータ

架空の商品アンケート survey.csv(400人分)を使います。ad_contact は広告を見たか(1:見た、0:見ていない)、purchase は購入したか(1:購入、0:非購入)、satisfaction は総合満足度(0〜10)です。

import pandas as pd
from scipy import stats

survey = pd.read_csv("https://www.bistro.business/files/r/survey.csv")

t検定:満足度の平均に差はある?

広告を見た人と見ていない人で、総合満足度の平均を比べます。まずは集計してみましょう。

survey.groupby("ad_contact")["satisfaction"].agg(["count", "mean"]).round(2)

実行結果

            count  mean
ad_contact             
0             220  6.06
1             180  6.22

広告を見た人(1)のほうが、満足度が0.16点高くなっています。この差が偶然かどうかを、t検定で確かめます。

seen = survey.query("ad_contact == 1")["satisfaction"]
not_seen = survey.query("ad_contact == 0")["satisfaction"]

result = stats.ttest_ind(seen, not_seen, equal_var=False)
ci = result.confidence_interval(confidence_level=0.95)
print(f"t値: {result.statistic:.3f}")
print(f"p値: {result.pvalue:.4f}")
print(f"平均の差の95%信頼区間: {ci.low:.2f} 〜 {ci.high:.2f}")

実行結果

t値: 0.951
p値: 0.3421
平均の差の95%信頼区間: -0.16 〜 0.47
項目 読み方
p値 = 0.3421 0.05より大きい → 差があるとは言えない
平均の差の95%信頼区間 本当の平均の差は、-0.16〜0.47の範囲にあると考えられる。0をまたいでいるので、差が0の可能性を否定できない

equal_var=False は、2つのグループのばらつきが同じとは限らない、という前提で計算する方法(ウェルチのt検定)です。Rの t.test() も、初期設定ではこの方法で計算します。特に理由がなければ、equal_var=False を付けておきましょう。

性別で比べた場合

同じように、性別で満足度を比べてみます。

female = survey.query("gender == '女性'")["satisfaction"]
male = survey.query("gender == '男性'")["satisfaction"]
stats.ttest_ind(female, male, equal_var=False).pvalue.round(4)

実行結果

np.float64(0.6829)

p値は0.68で、性別による満足度の差も見られませんでした。

カイ二乗検定:購入率に差はある?

次は、広告を見た人と見ていない人で、購入率に差があるかを調べます。購入した・しないのような割合の比較には、カイ二乗検定を使います。

まず、クロス集計表を作ります。

tab = pd.crosstab(survey["ad_contact"], survey["purchase"])
tab

実行結果

purchase      0   1
ad_contact         
0           163  57
1            91  89

行ごとの割合にすると、購入率が比べやすくなります。

(pd.crosstab(survey["ad_contact"], survey["purchase"], normalize="index") * 100).round(1)

実行結果

purchase       0     1
ad_contact            
0           74.1  25.9
1           50.6  49.4

広告を見ていない人の購入率は約26%、見た人は約49%と、大きな差があります。カイ二乗検定で確かめます。

chi2, p, dof, expected = stats.chi2_contingency(tab)
print(f"カイ二乗値: {chi2:.3f}")
print(f"自由度: {dof}")
print(f"p値: {p:.3e}")

実行結果

カイ二乗値: 22.655
自由度: 1
p値: 1.938e-06

p値は 1.938e-06(=0.000001938)で、0.05を大きく下回りました。広告を見た人のほうが購入率が高いという差は、偶然とは考えにくい、と判断できます。

expected には、「差がない」と仮定したときに期待される人数が入っています。期待される人数が5未満のマスがある場合は、カイ二乗検定の結果が不正確になるため、stats.fisher_exact()(フィッシャーの正確検定)を使います。

expected.round(1)

実行結果

array([[139.7,  80.3],
       [114.3,  65.7]])

今回はどのマスも5を大きく超えているので、カイ二乗検定で問題ありません。

なお、2×2のクロス集計表では、chi2_contingency() は自動で「イェーツの補正」という調整を行います。Rの chisq.test() も同じ補正を行うので、結果は一致します。

結果をどう読むか

比較 差 p値 判断
広告接触 × 満足度 6.06点 → 6.22点 0.34 差があるとは言えない
性別 × 満足度 ― 0.68 差があるとは言えない
広告接触 × 購入率 約26% → 約49% 0.000002 有意差あり

広告は、満足度には関係していないものの、購入には関係している可能性がある、と読み取れます。

検定を使うときの注意点

  • 有意差は「差の大きさ」ではない:データの件数が多いと、ごく小さな差でもp値は小さくなります。p値だけでなく、実際の差の大きさが、ビジネスとして意味があるかを考えましょう
  • 有意差は因果関係の証明ではない:広告を見た人は、もともと商品に興味がある人だった可能性もあります。ほかの要因の影響もあわせて考えるには、ロジスティック回帰分析が役立ちます
  • 何度も検定を繰り返さない:たくさんの組み合わせで検定すると、本当は差がないのに、偶然「有意」になるものが出てきます。3つ以上のグループを比べるときは、分散分析を使います

まとめ

  • 平均の差は stats.ttest_ind(グループ1, グループ2, equal_var=False)
  • 割合の差は、pd.crosstab() でクロス集計表を作って stats.chi2_contingency(表)
  • p値が0.05未満なら「有意差あり」。0.05以上なら「差があるとは言えない」
  • p値だけでなく、差の大きさと、ほかの要因の可能性もあわせて考える

CONTACT

データ活用のお悩み、
直接相談しませんか。

「何から始めればいいかわからない」段階でも大丈夫です。課題の整理からお手伝いします。