多重性の問題について１

検定の多重性という問題があります。ちょっと調べなおしたのでメモ。

検定の多重性とは，「検定を繰り返すと，第一種の過誤をおかす確率が上昇してしまう」というものです。第一種の過誤とは，「間違って犯人を逮捕（有意だと判断）してしまう」エラーを指します。

このような検定の多重性問題に対処するため，各検定における有意確率の補正などを中心とした様々なアプローチが用いられています。ただし，ジレンマなのが，そのような補正をおこなうと，今度は，第二種の過誤をおかす確率が上昇してしまうのです。第二種の過誤とは，「犯人を見逃す（有意だと判断できない）」エラーのことです。

こういったこともあり，有名なBonferroni法だけでなく，いくつもの対処方法（多重比較方法）が提案されてきました。。

と，ここまではよくある解説のとおりです。

さて，今回ここで問題にしたいのは，検定の多重性，といったときに，

1. 水準間の繰り返し検定による多重性
2. 似たようなの測定指標の検定の繰り返しによる多重性
3. それぞれ関係のない検定を繰り返す多重性
4. 検定の条件を調べるために種類の異なる検定を繰り返す多重性

といった，異なる性質のものが含まれているということです。順番に確認していきましょう。

1番は，比較的多くの人々が気づきやすく，実際に対処されている多重性問題です。これは，分散分析後に，要因の主効果が有意であり，かつその要因の水準が3水準以上の場合によく実施されるものです。使う手法を間違えていることはよく見られますが，比較的しっかりと意識されています。

2番が，ありがち，かつ最も問題になるパターンで，とりあえずたくさんの指標を測定し，それらの変数間で相関係数（相関行列）を計算したり，あるいは2対の比較（t検定）を繰り返すようなものです。いくつかの指標を測定すること（多重測定とよばれる）自体は，悪いものではありません。似たような指標が似たような振る舞いをすることを確認するのは，特定の文脈においては，重要なことです。しかし，往々にして非常に多くの検定の繰り返しが生じるため，全体としての危険率は見過ごせないくらいに増大してしまうことが多いのが実情です。

3番は，単一の論文あるいは実験のなかで，目的の異なる検定をいくつかおこなうことです。1論文あたり1検定で済むのが，スマートかもしれませんが，中々そんな状況はありません。ただし，これを多重性にカウントするかどうかは，難しいところで，議論があります。

4番は，正規性の検定をおこない，その結果によって，検定方法を選ぶようなパターンです。仮定を確認するのは重要なことですが，このような目的のために検定をおこなってしまうと，やはり多重性にひっかかってしまうので，あまりよくありません。理論的に考えて予め仮定の崩れに対処する，あるいは，仮定の崩れに頑健な検定手法を選んで使用することが推奨されます。

ということで，もっとも弊害の大きい2番に関して，詳しく議論したいのですが，長くなりそうなので，続きはまた今度。