Статистички значај је објективни показатељ да ли су резултати студије математички „стварни“ и статистички дефанзивни, а не само случајна појава. Уобичајени тестови значајности траже разлике у средствима скупова података или разлике у варијацијама скупова података. Врста теста који се примењује зависи од врсте података који се анализирају. На истраживачима је да утврде колико су значајни они који захтевају резултате - другим речима, колики су ризик спремни да погреше. Типично, истраживачи су спремни да прихвате ниво ризика од 5 процената.
Грешка типа И: Погрешно одбацивање нулте хипотезе
•••Сцотт Ротхстеин / иСтоцк / Гетти Имагес
Експерименти се изводе ради испитивања одређених хипотеза или експерименталних питања са очекиваним резултатом. Нулта хипотеза је она која не открива никакву разлику између два скупа података који се упоређују. На пример, у медицинском испитивању, нулта хипотеза може бити да нема разлике у побољшању између пацијената који примају испитивани лек и пацијената који примају плацебо. Ако истраживач погрешно одбаци ову нулту хипотезу када је она у ствари тачна, другим речима ако „детектује“ разлика између два сета пацијената када заиста није било разлике, они су починили тип И грешка. Истраживачи унапред утврђују колики су ризик од чињења грешке типа И који су спремни да прихвате. Овај ризик се заснива на максималној п-вредности коју ће прихватити пре него што одбију нулту хипотезу и назива се алфа.
Грешка типа ИИ: Погрешно одбацивање алтернативне хипотезе
Алтернативна хипотеза је она која открива разлику између два скупа података који се упоређују. У случају медицинског испитивања, очекивали бисте да ћете видети различите нивое побољшања код пацијената који примају испитивани лек и пацијената који примају плацебо. Ако истраживачи не успеју да одбаце нулту хипотезу када би требало, другим речима ако „открију“ бр разлика између два скупа пацијената када је заиста постојала разлика, тада су починили тип ИИ грешка.
Утврђивање нивоа значајности
Када истраживачи изврше тест статистичке значајности и резултујућа п-вредност је мања од нивоа ризика који се сматра прихватљивим, тада се резултат теста сматра статистички значајним. У овом случају се одбацује нулта хипотеза - хипотеза да нема разлике између две групе. Другим речима, резултати указују на то да постоји разлика у побољшању између пацијената који добијају испитивани лек и пацијената који примају плацебо.
Избор теста значајности
На избор је неколико различитих статистичких тестова. Стандардни т-тест упоређује средства из два скупа података, као што су подаци о испитиваним лековима и подаци о плацебу. Упарени т-тест се користи за откривање разлика у истом скупу података, као што је студија пре и после. Једносмерна анализа варијансе (АНОВА) може упоредити средства из три или више скупова података, а двосмерна АНОВА упоређује средства два или више скупова података као одговор на две различите независне променљиве, као што су различите снаге студије дрога. Линеарна регресија упоређује средства скупова података дуж градијента третмана или времена. Сваки статистички тест резултираће значајним мерама, или алфа, које се могу користити за тумачење резултата теста.