対応のある・なしt検定の検定力の違い
対応のある・なしt検定の検定力(検出力,Statistical power)の違いについて,ある方がもちろん検定力が高くなるんですが,具体的にどんくらい差がでるものなのか,見たことないですね。なので,シミュレーションやってみました(執筆している教科書用にですが。)
※2016年11月12日,目盛りを間違えていたので修正しました
(1)平均値が同じ,ランダムな2群のデータをたくさん作成します。
1群のデータ数は18,平均値=0,SD=1,正規分布にのっとったデータです。
2群の差の大きさは,0.32〜1.2まで0.04刻み。
(2)A2群の相関係数を計算し,群分けし,各ポイントにおいてデータセットを3000個ずつ作成します。
今回は,-1〜-0.4,-0.4〜-0.2,-0.2〜0,0〜0.2,0.2〜0.4,0.4〜1までの6区間
だから全部で,平均値差23種類×相関係数6種類×3000個のデータセットを作りました。
(3)B2群のデータに対して,対応ありなし2種類の検定をかけ,有意と判断された確率を計算。
なんじゃこりゃあ,というくらいに検定力が異なりますね。対応なしのt検定(青色)はどのようなデータセットがきても,検定力は変わりません。一方で,対応がある場合(橙色)には,二つのデータの相関が負の場合には検定力が落ち,正の場合には検定力が上がっています。
対応のある検定力がプラスになるのは,相関が0.1くらいが分岐点ということでしょうかね。
また,n=18ずつ(自由度は34)で,等分散&正規性の仮定が100%成り立っている状況では,効果量が0.8だとほぼ確実に有意となりますが,0.6だと2割くらいしか有意にならないんですね。対応のないt検定の検定力は低いですね。シミュレーションがあってるか不安になってきます。
※引用する場合には教科書(心理学統計入門 講談社)を参照してくださいませ。