多重性の問題について２

さて，前の記事に書いた，2番目の多重性問題の弊害について詳しく解説します。

まず，「なぜ弊害が大きいか」というと，それはずばり，

「繰り返し数が（尋常じゃなく）多くなりがちだから」

です。検定の多重性は，検定を繰り返すほど，タイプ1エラー（あるいは第一種の過誤）をおかす確率が高くなります。

2番のような状況，すなわち「とりあえずたくさんの指標を測定し，それらの変数間で相関係数（相関行列）を計算したり，あるいは2対の比較（t検定）を繰り返すような」状況を具体的に考えてみましょう。

例1：
たとえば，ある基準で分けた2つのグループになんらかの差があることを考えて，それぞれのグループに質問紙を行います。質問項目は40個くらい。それぞれの質問項目について，2群で比較しちゃいましょう。お，いくつかの項目に有意差が出たぞって？そりゃそうです。

5%水準では，「まったくランダムな2群」を集めたとしても，20回に一回は差が検出されるのです。有意水準の補正をしない状態では，差がありそうだと目をつけたグループ間に，40個のうちいくつかの項目で有意差が出るのなんて当たり前ですね。

例2：
グループ間の差じゃなくて，項目そのものに興味がある場合もあるでしょう。よし，あるグループにおける，40個の質問項目の相関係数を求めて，関係性を調べましょう。お，いくつかの・・・（略）

40項目の2対の組み合わせは，40×39÷2＝780ペアです。有意差ペアがたくさん出ないとむしろやばいですね。


このような検定の使い方は，仮説が明確にある場合にはそもそも生じにくいですが，仮説の有無にかかわらず，有意確率補正なしにはやってはいけません。有意確率補正があればやっていいです。あと，相関係数だけダラっと出して，検定かけないのであれば，どう考察するかは置いておいて，問題はありません。

”とりあえずたくさん指標を取ってみよう”系の研究にありがちなので気をつけましょう。