Statistisk signifikans är en objektiv indikator på huruvida resultaten av en studie är matematiskt "verkliga" och statistiskt försvarbara, snarare än bara en chans. Vanligt använda signifikansprov letar efter skillnader i medel för datamängder eller skillnader i datamängdsvariationer. Vilken typ av test som används beror på vilken typ av data som analyseras. Det är upp till forskarna att avgöra hur viktigt de kräver att resultaten ska vara - med andra ord hur mycket risk de är villiga att ta för att ha fel. Vanligtvis är forskare villiga att acceptera en risknivå på 5 procent.
Typ I-fel: Felaktigt avvisande av den nollhypotesen
•••Scott Rothstein / iStock / Getty Images
Experiment genomförs för att testa specifika hypoteser eller experimentfrågor med ett förväntat resultat. En nollhypotes är en som upptäcker ingen skillnad mellan de två datauppsättningarna som jämförs. I en medicinsk prövning kan till exempel nollhypotesen vara att det inte finns någon skillnad i förbättring mellan patienter som får studieläkemedlet och patienter som får placebo. Om forskaren felaktigt avvisar denna nollhypotes när den faktiskt är sant, med andra ord om de "upptäcker" a skillnaden mellan de två uppsättningarna av patienter när det verkligen inte var någon skillnad, då har de begått en typ I fel. Forskare bestämmer i förväg hur stor risk att begå ett typ I-fel de är villiga att acceptera. Denna risk baseras på ett maximalt p-värde som de accepterar innan de avvisar nollhypotesen och kallas alfa.
Typ II-fel: felaktigt avvisande av den alternativa hypotesen
En alternativ hypotes är en som upptäcker en skillnad mellan de två datauppsättningarna som jämförs. I fallet med den medicinska prövningen skulle du förvänta dig att du ser olika nivåer av förbättringar hos patienter som får studieläkemedlet och patienter som får placebo. Om forskare misslyckas med att avvisa nollhypotesen när de borde, med andra ord om de "upptäcker" nej skillnaden mellan de två patienterna när det verkligen var skillnad, då har de begått en typ II-fel.
Bestämning av betydelsen
När forskare utför ett test av statistisk signifikans och det resulterande p-värdet är lägre än den risknivå som anses acceptabel, anses testresultatet vara statistiskt signifikant. I detta fall avvisas nollhypotesen - hypotesen att det inte finns någon skillnad mellan de två grupperna. Med andra ord indikerar resultaten att det finns en skillnad i förbättring mellan patienter som får studieläkemedlet och patienter som får placebo.
Välja ett betydelsestest
Det finns flera olika statistiska tester att välja mellan. Ett vanligt t-test jämför medelvärdet från två datamängder, till exempel vår studie läkemedelsdata och våra placebodata. Ett parat t-test används för att detektera skillnader i samma datamängd, såsom en före-och-efter-studie. En envägsanalys av varians (ANOVA) kan jämföra medel från tre eller flera datamängder, och en tvåvägs ANOVA jämför medel för två eller flera datamängder som svar på två olika oberoende variabler, såsom olika styrkor i studien läkemedel. En linjär regression jämför medelvärdena för datamängderna längs en gradient av behandlingar eller tid. Varje statistiskt test kommer att resultera i mått på betydelse, eller alfa, som kan användas för att tolka testresultaten.