Statistisk signifikans er en objektiv indikator for, hvorvidt resultaterne af en undersøgelse er matematisk "reelle" og statistisk forsvarlige, snarere end blot en tilfældig forekomst. Almindeligt anvendte signifikanstest ser efter forskelle i middel til datasæt eller forskelle i variationer i datasæt. Den type test, der anvendes, afhænger af typen af data, der analyseres. Det er op til forskerne at afgøre, hvor vigtigt de kræver, at resultaterne skal være - med andre ord, hvor stor risiko de er villige til at tage for at være forkert. Forskere er typisk villige til at acceptere et risikoniveau på 5 procent.
Type I-fejl: forkert afvisning af den nul hypotese
•••Scott Rothstein / iStock / Getty Images
Eksperimenter udføres for at teste specifikke hypoteser eller eksperimentelle spørgsmål med et forventet resultat. En nulhypotese er en, der ikke opdager nogen forskel mellem de to datasæt, der sammenlignes. I et medicinsk forsøg kan for eksempel nulhypotesen være, at der ikke er nogen forskel i forbedring mellem patienter, der modtager studiemedicinen, og patienter, der får placebo. Hvis forskeren forkert afviser denne nulhypotese, når den faktisk er sand, med andre ord hvis de "opdager" a forskellen mellem de to sæt patienter, når der virkelig ikke var nogen forskel, så har de begået en type I fejl. Forskere bestemmer på forhånd, hvor stor risiko for at begå en type I-fejl, de er villige til at acceptere. Denne risiko er baseret på en maksimal p-værdi, som de accepterer, inden de afviser nulhypotesen, og kaldes alfa.
Type II-fejl: forkert afvisning af den alternative hypotese
En alternativ hypotese er en, der registrerer en forskel mellem de to datasæt, der sammenlignes. I tilfælde af det medicinske forsøg ville du forvente at se forskellige forbedringsniveauer hos patienter, der fik studiemedicin, og patienter, der fik placebo. Hvis forskere undlader at afvise nulhypotesen, når de skulle, med andre ord, hvis de "opdager" nej forskellen mellem de to patienter, når der virkelig var en forskel, så har de begået en type II-fejl.
Bestemmelse af betydningsniveauet
Når forskere udfører en test med statistisk signifikans, og den resulterende p-værdi er mindre end det risikoniveau, der anses for acceptabelt, betragtes testresultatet som statistisk signifikant. I dette tilfælde afvises nulhypotesen - hypotesen om, at der ikke er nogen forskel mellem de to grupper -. Med andre ord indikerer resultaterne, at der er en forskel i forbedring mellem patienter, der får studiemedicinen, og patienter, der får placebo.
Valg af en betydningstest
Der er flere forskellige statistiske tests at vælge imellem. En standard t-test sammenligner middelværdien fra to datasæt, såsom vores undersøgelsesmedicindata og vores placebodata. En parret t-test bruges til at detektere forskelle i det samme datasæt, såsom en undersøgelse før og efter. En envejs variansanalyse (ANOVA) kan sammenligne midlerne fra tre eller flere datasæt, og en tovejs ANOVA sammenligner middel til to eller flere datasæt som reaktion på to forskellige uafhængige variabler, såsom forskellige styrker i undersøgelsen medicin. En lineær regression sammenligner gennemsnittet af datasættene langs en gradient af behandlinger eller tid. Hver statistisk test vil resultere i målinger af betydning eller alfa, der kan bruges til at fortolke testresultaterne.