Статистическая значимость - это объективный индикатор того, являются ли результаты исследования математически «реальными» и статистически оправданными, а не просто случайным явлением. Обычно используемые тесты значимости ищут различия в средних значениях наборов данных или различия в вариациях наборов данных. Тип применяемого теста зависит от типа анализируемых данных. Задача исследователей - определить, насколько значительными должны быть результаты, другими словами, насколько они готовы рискнуть, чтобы ошибиться. Обычно исследователи готовы принять уровень риска в 5 процентов.
Ошибка типа I: ошибочное отклонение нулевой гипотезы
•••Скотт Ротштейн / iStock / Getty Images
Эксперименты проводятся для проверки конкретных гипотез или экспериментальных вопросов с ожидаемым результатом. Нулевая гипотеза - это гипотеза, которая не обнаруживает разницы между двумя сравниваемыми наборами данных. В медицинском исследовании, например, нулевая гипотеза может заключаться в том, что нет разницы в улучшении между пациентами, получающими исследуемый препарат, и пациентами, получающими плацебо. Если исследователь ошибочно отвергает эту нулевую гипотезу, когда она на самом деле верна, другими словами, если они «обнаруживают» разница между двумя группами пациентов, когда действительно не было разницы, то они совершили Тип I ошибка. Исследователи заранее определяют, какой риск совершения ошибки типа I они готовы принять. Этот риск основан на максимальном p-значении, которое они примут перед тем, как отвергнуть нулевую гипотезу, и называется альфа.
Ошибка типа II: ошибочное отклонение альтернативной гипотезы
Альтернативная гипотеза - это гипотеза, которая обнаруживает разницу между двумя сравниваемыми наборами данных. В случае медицинского испытания вы ожидаете увидеть различные уровни улучшения у пациентов, получавших исследуемый препарат, и у пациентов, получавших плацебо. Если исследователям не удается отвергнуть нулевую гипотезу, когда они должны, другими словами, если они «обнаруживают» нет разница между двумя группами пациентов, когда действительно была разница, то они совершили Тип II ошибка.
Определение уровня значимости
Когда исследователи проводят тест на статистическую значимость и результирующее значение p меньше уровня риска, который считается приемлемым, результат теста считается статистически значимым. В этом случае нулевая гипотеза - гипотеза об отсутствии разницы между двумя группами - отклоняется. Другими словами, результаты показывают, что есть разница в улучшении между пациентами, получавшими исследуемый препарат, и пациентами, получавшими плацебо.
Выбор теста значимости
На выбор предлагается несколько различных статистических тестов. Стандартный t-тест сравнивает средние значения из двух наборов данных, таких как данные нашего исследуемого препарата и данные нашего плацебо. Парный t-критерий используется для обнаружения различий в одном и том же наборе данных, например, в исследовании до и после. Односторонний дисперсионный анализ (ANOVA) может сравнивать средние значения из трех или более наборов данных, а двусторонний ANOVA сравнивает средства двух или более наборов данных в ответ на две разные независимые переменные, такие как разные сильные стороны исследования лекарство. Линейная регрессия сравнивает средние значения наборов данных по градиенту лечения или времени. Результатом каждого статистического теста являются меры значимости или альфа, которые можно использовать для интерпретации результатов теста.