統計学において、多重比較検定は、複数の群や条件間の差異を検定する際に用いる方法です。一度に多くの比較を行う場合、誤った結論を導きやすくなる問題（多重比較問題）が発生します。これを補正し、信頼性の高い結果を得るための手法が多重比較検定です。
多重比較問題の例
ある実験で、5つのグループ間の平均値を比較するとします。グループ間の差異を検定するたびに、例えば5%の有意水準を設定していると、偶然に差が出る確率が増え、全体として誤検定（Type I エラー）のリスクが高まります。この問題を解決するのが多重比較検定です。
多重比較検定の主な手法
多重比較検定にはいくつかの代表的な手法があります。それぞれの特徴と用途を見ていきましょう。
1. ボンフェローニ補正
- 概要: 有意水準（α）を比較回数で割ることで、全体の誤差率をコントロールする方法。
- 計算方法: α′=α/m（mは比較の回数）
- 利点: 簡単で計算がしやすい。
- 欠点: 保守的すぎる場合があり、差を検出する力（検出力）が低下することがある。
2. ホルム法（Holm’s Method）
- 概要: ボンフェローニ補正を改良した方法。複数回の検定を行う順番を考慮し、段階的に有意水準を調整する。
- 利点: ボンフェローニ補正よりも検出力が高い。
- 欠点: 実装がやや複雑。
3. TukeyのHSD検定（Tukey’s Honest Significant Difference Test）
- 概要: 一元配置分散分析後に使われる手法。すべての群間のペアを比較する際に用いられる。
- 利点: 均一分散が仮定される場合に適している。
- 欠点: 分散が均一でない場合には不適切。
4. ダネット検定（Dunnett’s Test）
- 概要: 対照群を基準に、他の群との比較を行う際に使われる手法。
- 利点: 対照群がある実験に適している。
- 欠点: 対照群以外の比較には不向き。
5. Scheffé法
- 概要: 保守的な手法で、すべての可能な比較に対して補正を行う。
- 利点: 最も自由度が高い方法の一つ。
- 欠点: 他の方法に比べて検出力が低い。
実際の応用例
例: 薬の効果を比較
ある新薬の実験で、3つの薬（A, B, C）とプラセボを比較する場合、合計6通りの比較が必要になります。ここでボンフェローニ補正を適用すると、有意水準が厳しくなるため、実際に効果がある薬でも「有意」と判定されないリスクがあります。一方、TukeyのHSD検定を用いれば、各薬間の差異をより効率的に検出することが可能です。
例: マーケティング施策の評価
A/Bテストを行う際、3つ以上のバリエーション（広告A, B, C）を比較する場合、多重比較検定が必要です。ダネット検定を使用して、既存の広告を基準に新しい広告案の優位性を調べることができます。
まとめ
多重比較検定は、複数の比較を行う際に統計的な信頼性を保つために不可欠な手法です。データの特性や研究の目的に応じて、適切な方法を選択することが重要です。
次回の記事では、多重比較検定の具体的な計算方法やR/Pythonを用いた実装例について解説します。
