Statistische Signifikanz ist ein objektiver Indikator dafür, ob die Ergebnisse einer Studie mathematisch "real" und statistisch vertretbar sind und nicht nur ein Zufall. Häufig verwendete Signifikanztests suchen nach Unterschieden in den Mittelwerten von Datensätzen oder nach Unterschieden in der Varianz von Datensätzen. Die Art des angewendeten Tests hängt von der Art der analysierten Daten ab. Es liegt an den Forschern, zu bestimmen, wie aussagekräftig die Ergebnisse sein müssen – mit anderen Worten, wie viel Risiko sie bereit sind, Fehler einzugehen. Normalerweise sind Forscher bereit, ein Risikoniveau von 5 Prozent in Kauf zu nehmen.
Fehler Typ I: Falsche Ablehnung der Nullhypothese
•••Scott Rothstein/iStock/Getty Images
Experimente werden durchgeführt, um bestimmte Hypothesen oder experimentelle Fragen mit einem erwarteten Ergebnis zu testen. Eine Nullhypothese ist eine Hypothese, die keinen Unterschied zwischen den beiden verglichenen Datensätzen erkennt. In einer medizinischen Studie könnte beispielsweise die Nullhypothese lauten, dass es keinen Unterschied in der Verbesserung zwischen Patienten gibt, die das Studienmedikament erhalten, und Patienten, die das Placebo erhalten. Wenn der Forscher diese Nullhypothese zu Unrecht ablehnt, obwohl sie tatsächlich wahr ist, d. h. wenn er eine Unterschied zwischen den beiden Patientengruppen, wenn es wirklich keinen Unterschied gab, dann haben sie einen Typ I begangen Error. Forscher bestimmen im Voraus, wie viel Risiko sie bereit sind, einen Fehler des Typs I zu begehen. Dieses Risiko basiert auf einem maximalen p-Wert, den sie akzeptieren, bevor sie die Nullhypothese ablehnen, und wird als Alpha bezeichnet.
Fehler Typ II: Falsche Ablehnung der Alternativhypothese
Eine alternative Hypothese ist eine, die einen Unterschied zwischen den beiden verglichenen Datensätzen erkennt. Im Fall der medizinischen Studie würden Sie bei Patienten, die das Studienmedikament erhalten, und Patienten, die das Placebo erhalten, unterschiedliche Verbesserungen erwarten. Wenn Forscher die Nullhypothese nicht zum richtigen Zeitpunkt verwerfen, d. h. nein, Unterschied zwischen den beiden Patientengruppen, wenn es wirklich einen Unterschied gab, dann haben sie einen Typus begangen II Fehler.
Bestimmung des Bedeutungsniveaus
Wenn Forscher einen Test mit statistischer Signifikanz durchführen und der resultierende p-Wert niedriger als das als akzeptabel erachtete Risikoniveau ist, wird das Testergebnis als statistisch signifikant angesehen. In diesem Fall wird die Nullhypothese – die Hypothese, dass es keinen Unterschied zwischen den beiden Gruppen gibt – abgelehnt. Mit anderen Worten, die Ergebnisse zeigen, dass es einen Unterschied in der Verbesserung zwischen Patienten gibt, die das Studienmedikament erhalten, und Patienten, die das Placebo erhalten.
Auswahl eines Signifikanztests
Es stehen verschiedene statistische Tests zur Auswahl. Ein Standard-t-Test vergleicht die Mittelwerte aus zwei Datensätzen, wie unseren Studienmedikationsdaten und unseren Placebodaten. Ein gepaarter t-Test wird verwendet, um Unterschiede in demselben Datensatz zu erkennen, beispielsweise bei einer Vorher-Nachher-Studie. Eine einseitige Varianzanalyse (ANOVA) kann die Mittelwerte aus drei oder mehr Datensätzen vergleichen, und eine zweifache ANOVA vergleicht die Mittelwerte von zwei oder mehr Datensätzen als Reaktion auf zwei verschiedene unabhängige Variablen, wie z. B. unterschiedliche Stärken der Studie Arzneimittel. Eine lineare Regression vergleicht die Mittelwerte der Datensätze entlang eines Gradienten von Behandlungen oder Zeit. Jeder statistische Test führt zu Signifikanzmaßen oder Alpha, die zur Interpretation der Testergebnisse verwendet werden können.