統計的有意性は、研究の結果が単なる偶然の発生ではなく、数学的に「現実的」で統計的に防御可能であるかどうかの客観的な指標です。 一般的に使用される有意差検定は、データセットの平均の違いまたはデータセットの分散の違いを探します。 適用されるテストのタイプは、分析されるデータのタイプによって異なります。 結果がどれほど重要である必要があるか、言い換えれば、間違っていることに対してどれだけのリスクを冒しても構わないと思っているかを判断するのは研究者次第です。 通常、研究者は5％のリスクレベルを喜んで受け入れます。
タイプIの過誤：帰無仮説を誤って棄却する
•••スコットロススタイン/ iStock /ゲッティイメージズ
実験は、特定の仮説、または期待される結果を伴う実験的な質問をテストするために実施されます。 帰無仮説は、比較されている2つのデータセットの間に違いがないことを検出する仮説です。 たとえば、医療試験では、治験薬を投与された患者とプラセボを投与された患者の間で改善に差がないという仮説が立てられない可能性があります。 研究者がこの帰無仮説が実際に真実であるのに誤って棄却した場合、言い換えれば、彼らが 本当に違いがなかったときの2組の患者の違い、そして彼らはタイプIを犯しました エラー。 研究者は、受け入れても構わないと思っているタイプIの過誤を犯すリスクを事前に判断します。 このリスクは、帰無仮説を棄却する前に受け入れる最大p値に基づいており、アルファと呼ばれます。
タイプIIエラー：対立仮説を誤って拒否する
対立仮説は、比較されている2つのデータセット間の差異を検出する仮説です。 医学的試験の場合、治験薬を投与された患者とプラセボを投与された患者で異なるレベルの改善が見られると予想されます。 研究者が帰無仮説を棄却できない場合、言い換えれば、帰無仮説を「検出」しない場合 本当に違いがあったときの2組の患者の違い、そして彼らはタイプをコミットしました IIエラー。
有意水準の決定
研究者が統計的有意性の検定を実行し、結果のp値が許容できると見なされるリスクのレベルよりも小さい場合、検定結果は統計的に有意であると見なされます。 この場合、帰無仮説（2つのグループ間に差がないという仮説）は棄却されます。 言い換えれば、結果は、治験薬を投与された患者とプラセボを投与された患者との間で改善に差があることを示しています。
有意性検定の選択
選択できるいくつかの異なる統計的検定があります。 標準のt検定では、治験薬データとプラセボデータなどの2つのデータセットの平均を比較します。 対応のあるt検定は、前後の調査など、同じデータセットの違いを検出するために使用されます。 一元配置分散分析（ANOVA）は、3つ以上のデータセットの平均を比較でき、双方向ANOVAは、 研究の異なる強さなど、2つの異なる独立変数に応じた2つ以上のデータセットの平均 薬。 線形回帰は、処理または時間の勾配に沿ってデータセットの平均を比較します。 各統計的検定は、検定結果の解釈に使用できる有意性の尺度、つまりアルファをもたらします。