La significatività statistica è un indicatore oggettivo del fatto che i risultati di uno studio siano matematicamente "reali" e statisticamente difendibili, piuttosto che solo un evento casuale. I test di significatività comunemente usati cercano differenze nelle medie degli insiemi di dati o differenze nelle varianze degli insiemi di dati. Il tipo di test applicato dipende dal tipo di dati che vengono analizzati. Spetta ai ricercatori determinare quanto significativi richiedono che i risultati siano - in altre parole, quanto rischio sono disposti a correre di sbagliare. In genere, i ricercatori sono disposti ad accettare un livello di rischio del 5%.
Errore di tipo I: rifiutare erroneamente l'ipotesi nulla
•••Scott Rothstein/iStock/Getty Images
Gli esperimenti sono condotti per testare ipotesi specifiche o domande sperimentali con un risultato atteso. Un'ipotesi nulla è quella che non rileva alcuna differenza tra i due insiemi di dati confrontati. In uno studio medico, ad esempio, l'ipotesi nulla potrebbe essere che non vi sia alcuna differenza di miglioramento tra i pazienti che ricevono il farmaco in studio e i pazienti che ricevono il placebo. Se il ricercatore rigetta erroneamente questa ipotesi nulla quando di fatto è vera, in altre parole se "rileva" una differenza tra i due gruppi di pazienti quando in realtà non c'era differenza, allora hanno commesso un tipo I errore. I ricercatori determinano in anticipo quanto rischio di commettere un errore di tipo I sono disposti ad accettare. Questo rischio si basa su un p-value massimo che accetteranno prima di rifiutare l'ipotesi nulla, ed è chiamato alfa.
Errore di tipo II: rifiutare erroneamente l'ipotesi alternativa
Un'ipotesi alternativa è quella che rileva una differenza tra i due insiemi di dati confrontati. Nel caso della sperimentazione medica, ci si aspetterebbe di vedere diversi livelli di miglioramenti nei pazienti che ricevono il farmaco in studio e nei pazienti che ricevono il placebo. Se i ricercatori non rifiutano l'ipotesi nulla quando dovrebbero, in altre parole se "rilevano" no differenza tra i due gruppi di pazienti quando c'era davvero una differenza, allora hanno commesso un Tipo II errore.
Determinazione del livello di significatività
Quando i ricercatori eseguono un test di significatività statistica e il p-value risultante è inferiore al livello di rischio ritenuto accettabile, il risultato del test è considerato statisticamente significativo. In questo caso, l'ipotesi nulla - l'ipotesi che non ci sia differenza tra i due gruppi - è respinta. In altre parole, i risultati indicano che c'è una differenza di miglioramento tra i pazienti che ricevono il farmaco in studio e i pazienti che ricevono il placebo.
Scelta di un test di significatività
Ci sono diversi test statistici tra cui scegliere. Un t-test standard confronta le medie di due set di dati, come i nostri dati sui farmaci in studio e i nostri dati sul placebo. Un t-test accoppiato viene utilizzato per rilevare le differenze nello stesso set di dati, ad esempio uno studio prima e dopo. Un'analisi della varianza a una via (ANOVA) può confrontare le medie di tre o più set di dati e un'ANOVA a due vie confronta il mezzo di due o più set di dati in risposta a due diverse variabili indipendenti, come i diversi punti di forza dello studio farmaco. Una regressione lineare confronta le medie dei set di dati lungo un gradiente di trattamenti o tempo. Ogni test statistico risulterà in misure di significatività, o alfa, che possono essere utilizzate per interpretare i risultati del test.