Istotność statystyczna jest obiektywnym wskaźnikiem tego, czy wyniki badania są matematycznie „prawdziwe” i statystycznie uzasadnione, a nie tylko przypadkiem. Powszechnie stosowane testy istotności szukają różnic w średnich zestawach danych lub różnic w wariancji zestawów danych. Typ stosowanego testu zależy od typu analizowanych danych. Do naukowców należy określenie, jak ważne są wyniki – innymi słowy, jak duże są skłonni podjąć ryzyko popełnienia błędu. Zazwyczaj badacze są skłonni zaakceptować poziom ryzyka wynoszący 5 procent.
Błąd typu I: błędne odrzucenie hipotezy zerowej
•••Scott Rothstein/iStock/Getty Images
Eksperymenty są przeprowadzane w celu przetestowania konkretnych hipotez lub pytań eksperymentalnych z oczekiwanym rezultatem. Hipoteza zerowa to taka, która nie wykrywa różnicy między dwoma porównywanymi zestawami danych. Na przykład w badaniu medycznym hipotezą zerową może być to, że nie ma różnicy w poprawie między pacjentami otrzymującymi badany lek a pacjentami otrzymującymi placebo. Jeśli badacz niesłusznie odrzuci tę hipotezę zerową, gdy jest ona w rzeczywistości prawdziwa, innymi słowy, jeśli „wykryje” różnica między tymi dwoma zestawami pacjentów, gdy tak naprawdę nie było różnicy, to popełnili typ I błąd. Badacze z wyprzedzeniem określają, jakie ryzyko popełnienia błędu typu I są gotowi zaakceptować. Ryzyko to opiera się na maksymalnej wartości p, którą zaakceptują przed odrzuceniem hipotezy zerowej i nazywa się alfa.
Błąd typu II: błędne odrzucenie alternatywnej hipotezy
Hipoteza alternatywna to taka, która wykrywa różnicę między dwoma porównywanymi zestawami danych. W przypadku badania medycznego można oczekiwać różnych poziomów poprawy u pacjentów otrzymujących badany lek i pacjentów otrzymujących placebo. Jeśli badaczom nie uda się odrzucić hipotezy zerowej, kiedy powinni, innymi słowy, jeśli „wykryją” nie różnica między tymi dwoma zestawami pacjentów, kiedy naprawdę istniała różnica, to popełnili typ II błąd.
Określanie poziomu istotności
Gdy badacze przeprowadzają test istotności statystycznej, a uzyskana wartość p jest mniejsza niż poziom ryzyka uznany za akceptowalny, wynik testu uznaje się za statystycznie istotny. W tym przypadku hipoteza zerowa – hipoteza, że nie ma różnicy między tymi dwiema grupami – zostaje odrzucona. Innymi słowy, wyniki wskazują, że istnieje różnica w poprawie między pacjentami otrzymującymi badany lek a pacjentami otrzymującymi placebo.
Wybór testu istotności
Do wyboru jest kilka różnych testów statystycznych. Standardowy test t porównuje średnie z dwóch zestawów danych, takich jak nasze dane dotyczące badanego leku i nasze dane dotyczące placebo. Sparowany test t-Studenta służy do wykrywania różnic w tym samym zestawie danych, takich jak badanie przed i po. Jednoczynnikowa analiza wariancji (ANOVA) może porównywać średnie z trzech lub więcej zestawów danych, a dwuczynnikowa ANOVA porównuje średnie z dwóch lub więcej zestawów danych w odpowiedzi na dwie różne zmienne niezależne, takie jak różne mocne strony badania lek. Regresja liniowa porównuje średnie zestawów danych wzdłuż gradientu leczenia lub czasu. Każdy test statystyczny da miary istotności lub alfa, które można wykorzystać do interpretacji wyników testu.