Statistisk signifikans er en objektiv indikator på om resultatene av en studie er matematisk "reelle" og statistisk forsvarlige, i stedet for bare en tilfeldig forekomst. Ofte brukte signifikansetester ser etter forskjeller i middel til datasett eller forskjeller i variasjoner i datasett. Hvilken type test som blir brukt, avhenger av hvilken type data som blir analysert. Det er opp til forskerne å bestemme hvor viktige de krever at resultatene skal være - med andre ord hvor stor risiko de er villige til å ta for å ta feil. Vanligvis er forskere villige til å akseptere et risikonivå på 5 prosent.
Type I-feil: Feil avvisning av Null-hypotesen
•••Scott Rothstein / iStock / Getty Images
Eksperimenter blir utført for å teste ut spesifikke hypoteser, eller eksperimentelle spørsmål med forventet resultat. En nullhypotese er en som oppdager ingen forskjell mellom de to datasettene som sammenlignes. I en medisinsk prøve, kan for eksempel nullhypotesen være at det ikke er noen forskjell i forbedring mellom pasienter som får studiemedikamentet og pasienter som får placebo. Hvis forskeren feilaktig avviser denne nullhypotesen når den faktisk er sant, med andre ord hvis de "oppdager" a forskjellen mellom de to pasientsettene når det egentlig ikke var noen forskjell, da har de begått en type I feil. Forskere avgjør på forhånd hvor stor risiko for å begå en type I-feil de er villige til å akseptere. Denne risikoen er basert på en maksimal p-verdi som de vil akseptere før de avviser nullhypotesen, og kalles alfa.
Type II-feil: Feil avvisning av alternativ hypotese
En alternativ hypotese er en som oppdager en forskjell mellom de to datasettene som sammenlignes. I tilfelle av den medisinske studien, forventer du å se forskjellige forbedringsnivåer hos pasienter som får studielegemidlet og pasienter som får placebo. Hvis forskere ikke avviser nullhypotesen når de skulle, med andre ord hvis de "oppdager" nei forskjellen mellom de to pasientene når det virkelig var forskjell, så har de begått en type II feil.
Bestemme nivået av betydning
Når forskere utfører en test av statistisk signifikans og den resulterende p-verdien er mindre enn risikonivået som anses akseptabelt, blir testresultatet ansett som statistisk signifikant. I dette tilfellet avvises nullhypotesen - hypotesen om at det ikke er noen forskjell mellom de to gruppene. Resultatene indikerer med andre ord at det er en forskjell i forbedring mellom pasienter som får studielegemidlet og pasienter som får placebo.
Velge en betydningstest
Det er flere forskjellige statistiske tester å velge mellom. En standard t-test sammenligner middel fra to datasett, for eksempel våre medikamentdata fra studien og våre placebodata. En sammenkoblet t-test brukes til å oppdage forskjeller i samme datasett, for eksempel en før-og-etter-studie. En enveis variansanalyse (ANOVA) kan sammenligne middel fra tre eller flere datasett, og en toveis ANOVA sammenligner middel til to eller flere datasett som svar på to forskjellige uavhengige variabler, for eksempel forskjellige styrker i studien legemiddel. En lineær regresjon sammenligner middelet til datasettene langs en gradient av behandlinger eller tid. Hver statistiske test vil resultere i mål av betydning, eller alfa, som kan brukes til å tolke testresultatene.