Statistička značajnost objektivni je pokazatelj jesu li rezultati studije matematički "stvarni" i statistički obrambeni, a ne samo slučajna pojava. Uobičajeni testovi značajnosti traže razlike u sredstvima skupova podataka ili razlike u varijacijama skupova podataka. Vrsta testa koji se primjenjuje ovisi o vrsti podataka koji se analiziraju. Na istraživačima je da utvrde koliko su značajni oni koji zahtijevaju rezultate - drugim riječima, koliki rizik žele spremiti da pogriješe. Tipično, istraživači su spremni prihvatiti razinu rizika od 5 posto.
Pogreška tipa I: Pogrešno odbacivanje nulte hipoteze
•••Scott Rothstein / iStock / Getty Images
Eksperimenti se provode kako bi se ispitale određene hipoteze ili eksperimentalna pitanja s očekivanim rezultatom. Ništa je hipoteza koja ne otkriva nikakvu razliku između dva skupa podataka koji se uspoređuju. Na primjer, u medicinskom ispitivanju, nula hipoteza može biti da nema razlike u poboljšanju između pacijenata koji primaju ispitivani lijek i pacijenata koji primaju placebo. Ako istraživač pogrešno odbaci ovu nultu hipotezu kada je ona zapravo istinita, drugim riječima ako "otkrije" razlika između dva skupa pacijenata kad zaista nije bilo razlike, tada su počinili tip I pogreška. Istraživači unaprijed utvrđuju koliki su rizik od počinjenja pogreške tipa I spremni prihvatiti. Taj se rizik temelji na maksimalnoj p-vrijednosti koju će prihvatiti prije odbacivanja nulte hipoteze i naziva se alfa.
Pogreška tipa II: Pogrešno odbacivanje zamjenske hipoteze
Alternativna hipoteza je ona koja otkriva razliku između dva skupa podataka koji se uspoređuju. U slučaju medicinskog ispitivanja, očekivali biste da ćete vidjeti različite razine poboljšanja kod pacijenata koji primaju ispitivani lijek i pacijenata koji primaju placebo. Ako istraživači ne odbiju nultu hipotezu kad bi trebali, drugim riječima ako "otkriju" br razlika između dva skupa pacijenata kada je zaista postojala razlika, tada su počinili tip II pogreška.
Određivanje razine značajnosti
Kada istraživači izvrše test statističke značajnosti, a rezultirajuća p-vrijednost manja je od razine rizika koja se smatra prihvatljivom, tada se rezultat ispitivanja smatra statistički značajnim. U ovom se slučaju odbacuje nulta hipoteza - hipoteza da nema razlike između te dvije skupine. Drugim riječima, rezultati ukazuju na to da postoji razlika u poboljšanju između pacijenata koji primaju ispitivani lijek i pacijenata koji primaju placebo.
Odabir testa značajnosti
Na izbor je nekoliko različitih statističkih testova. Standardni t-test uspoređuje sredstva iz dva skupa podataka, poput podataka o ispitivanom lijeku i podataka o placebu. Upareni t-test koristi se za otkrivanje razlika u istom skupu podataka, poput studije prije i poslije. Jednosmjerna analiza varijance (ANOVA) može usporediti sredstva iz tri ili više skupova podataka, a dvosmjerna ANOVA uspoređuje znači dva ili više skupova podataka kao odgovor na dvije različite neovisne varijable, kao što su različite snage studije droga. Linearna regresija uspoređuje sredstva skupova podataka duž gradijenta tretmana ili vremena. Svaki statistički test rezultirat će mjerama značajnosti, ili alfa, koje se mogu koristiti za tumačenje rezultata testa.