Статистична значимість є об'єктивним показником того, чи є результати дослідження математично "реальними" та статистично захисними, а не просто випадковим випадком. Загальновживані тести значущості шукають відмінності у засобах наборів даних або відмінності у дисперсіях наборів даних. Тип тесту, який застосовується, залежить від типу даних, які аналізуються. Дослідники повинні визначити, наскільки значними вони потребують результатів - іншими словами, на скільки ризику вони готові піти на помилку. Як правило, дослідники готові прийняти рівень ризику в 5 відсотків.
Помилка типу I: Неправильне відхилення нульової гіпотези
•••Скотт Ротштайн / iStock / Getty Images
Експерименти проводяться для перевірки конкретних гіпотез або експериментальних питань із очікуваним результатом. Нульовою гіпотезою є та, яка не виявляє різниці між двома наборами даних, що порівнюються. Наприклад, у медичному дослідженні нульовою гіпотезою може бути те, що немає різниці в поліпшенні між пацієнтами, які отримують досліджуваний препарат, і пацієнтами, які отримують плацебо. Якщо дослідник помилково відкидає цю нульову гіпотезу, коли вона насправді відповідає дійсності, іншими словами, якщо він "виявляє" різниця між двома групами пацієнтів, коли різниці насправді не було, тоді вони скоїли тип I помилка. Дослідники заздалегідь визначають, скільки ризику зробити помилку типу I вони готові прийняти. Цей ризик базується на максимальному значенні р, яке вони приймуть до відхилення нульової гіпотези, і називається альфа.
Помилка типу II: Неправильне відхилення альтернативної гіпотези
Альтернативна гіпотеза - це та, яка виявляє різницю між двома наборами даних, що порівнюються. У випадку медичного випробування ви очікували б різного рівня поліпшень у пацієнтів, які отримували досліджуваний препарат, і пацієнтів, які отримували плацебо. Якщо дослідники не зможуть відкинути нульову гіпотезу тоді, коли вони повинні, іншими словами, якщо вони "виявлять" ні різниця між двома пацієнтами, коли насправді була різниця, тоді вони скоїли тип II помилка.
Визначення рівня значущості
Коли дослідники проводять тест статистичної значущості, а результуюче значення р менше рівня ризику, який вважається прийнятним, тоді результат тесту вважається статистично значущим. У цьому випадку нульова гіпотеза - гіпотеза про відсутність різниці між двома групами - відкидається. Іншими словами, результати вказують на те, що існує різниця в поліпшенні між пацієнтами, які отримують досліджуваний препарат, і пацієнтами, які отримують плацебо.
Вибір тесту на значимість
На вибір є кілька різних статистичних тестів. Стандартний t-тест порівнює засоби з двох наборів даних, таких як дані досліджуваного препарату та дані плацебо. Парний t-тест використовується для виявлення відмінностей в одному і тому ж наборі даних, таких як дослідження до та після. Односторонній дисперсійний аналіз (ANOVA) може порівняти засоби із трьох або більше наборів даних, а двосторонній ANOVA порівнює засоби двох або більше наборів даних у відповідь на дві різні незалежні змінні, такі як різні сили дослідження ліки. Лінійна регресія порівнює засоби наборів даних за градієнтом обробок або часу. Кожне статистичне тестування призведе до показників значущості, або альфа, які можна використовувати для інтерпретації результатів тесту.