Статистическата значимост е обективен индикатор за това дали резултатите от дадено изследване са математически „реални“ и статистически защитими, а не просто случайно възникване. Често използваните тестове за значимост търсят разлики в средствата за набори от данни или разлики в дисперсиите на набори от данни. Видът на теста, който се прилага, зависи от типа данни, които се анализират. Изследователите трябва да определят колко важни са те, за да бъдат необходими резултатите - с други думи, колко рискови са готови да поемат, за да бъдат грешни. Обикновено изследователите са готови да приемат ниво на риск от 5%.
Грешка от тип I: Неправилно отхвърляне на нулевата хипотеза
•••Скот Ротщайн / iStock / Гети изображения
Провеждат се експерименти за тестване на конкретни хипотези или експериментални въпроси с очакван резултат. Нулева хипотеза е тази, която не открива разлика между двата набора данни, които се сравняват. В медицинско изпитване, например, нулевата хипотеза може да бъде, че няма разлика в подобрението между пациентите, получаващи изследваното лекарство, и пациентите, получаващи плацебо. Ако изследователят погрешно отхвърли тази нулева хипотеза, когато тя всъщност е вярна, с други думи, ако "открие" разлика между двете групи пациенти, когато наистина не е имало разлика, тогава те са извършили тип I грешка. Изследователите предварително определят какъв риск от извършване на грешка от тип I са готови да приемат. Този риск се основава на максимална р-стойност, която те ще приемат, преди да отхвърлят нулевата хипотеза, и се нарича алфа.
Грешка от тип II: Неправилно отхвърляне на алтернативната хипотеза
Алтернативна хипотеза е тази, която открива разлика между двата набора данни, които се сравняват. В случай на медицинско проучване, бихте очаквали да видите различни нива на подобрения при пациенти, получаващи изследваното лекарство и пациенти, получаващи плацебо. Ако изследователите не успеят да отхвърлят нулевата хипотеза, когато трябва, с други думи, ако „открият“ не разлика между двете групи пациенти, когато наистина е имало разлика, тогава те са извършили тип II грешка.
Определяне на нивото на значимост
Когато изследователите извършват тест със статистическа значимост и получената р-стойност е по-малка от нивото на риска, което се счита за приемливо, тогава резултатът от теста се счита за статистически значим. В този случай се отхвърля нулевата хипотеза - хипотезата, че няма разлика между двете групи. С други думи, резултатите показват, че има разлика в подобрението между пациентите, получаващи изследваното лекарство, и пациентите, получаващи плацебо.
Избор на тест за значимост
Има няколко различни статистически теста, от които можете да избирате. Стандартният t-тест сравнява средствата от два набора от данни, като нашите данни за изследваните лекарства и нашите плацебо данни. Сдвоен t-тест се използва за откриване на разлики в същия набор от данни, като например проучване преди и след. Еднопосочният анализ на отклонението (ANOVA) може да сравнява средствата от три или повече набора от данни, а двупосочният ANOVA сравнява означава две или повече набори от данни в отговор на две различни независими променливи, като например различни силни страни на изследването лекарство. Линейната регресия сравнява средствата от наборите от данни по градиент от лечения или време. Всеки статистически тест ще доведе до мерки за значимост или алфа, които могат да се използват за интерпретиране на резултатите от теста.