A significância estatística é um indicador objetivo de se os resultados de um estudo são ou não matematicamente "reais" e estatisticamente defensáveis, ao invés de apenas uma ocorrência casual. Os testes de significância comumente usados procuram diferenças nas médias dos conjuntos de dados ou diferenças nas variações dos conjuntos de dados. O tipo de teste aplicado depende do tipo de dados que está sendo analisado. Cabe aos pesquisadores determinar o quão significativo eles exigem que os resultados sejam - em outras palavras, quanto risco eles estão dispostos a correr de estarem errados. Normalmente, os pesquisadores estão dispostos a aceitar um nível de risco de 5 por cento.
Erro Tipo I: Rejeitando Injustamente a Hipótese Nula
•••Scott Rothstein / iStock / Getty Images
Os experimentos são conduzidos para testar hipóteses específicas ou questões experimentais com um resultado esperado. Uma hipótese nula é aquela que não detecta nenhuma diferença entre os dois conjuntos de dados que estão sendo comparados. Em um ensaio médico, por exemplo, a hipótese nula pode ser a de que não há diferença na melhora entre os pacientes que receberam o medicamento do estudo e os pacientes que receberam o placebo. Se o pesquisador rejeitar erroneamente essa hipótese nula quando ela for de fato verdadeira, em outras palavras, se ele "detectar" um diferença entre os dois conjuntos de pacientes quando realmente não havia diferença, então eles cometeram um tipo I erro. Os pesquisadores determinam com antecedência quanto risco de cometer um erro Tipo I eles estão dispostos a aceitar. Esse risco é baseado em um valor p máximo que eles aceitarão antes de rejeitar a hipótese nula e é chamado de alfa.
Erro tipo II: rejeitando erroneamente a hipótese alternativa
Uma hipótese alternativa é aquela que detecta uma diferença entre os dois conjuntos de dados que estão sendo comparados. No caso do ensaio clínico, você esperaria ver diferentes níveis de melhorias nos pacientes que receberam o medicamento do estudo e nos pacientes que receberam o placebo. Se os pesquisadores falham em rejeitar a hipótese nula quando deveriam, em outras palavras, se eles "detectam" não diferença entre os dois conjuntos de pacientes quando realmente havia uma diferença, então eles cometeram um tipo Erro II.
Determinando o nível de significância
Quando os pesquisadores realizam um teste de significância estatística e o valor p resultante é menor do que o nível de risco considerado aceitável, o resultado do teste é considerado estatisticamente significativo. Nesse caso, a hipótese nula - a hipótese de que não há diferença entre os dois grupos - é rejeitada. Em outras palavras, os resultados indicam que há uma diferença na melhora entre os pacientes que recebem o medicamento do estudo e os pacientes que recebem o placebo.
Escolhendo um Teste de Significância
Existem vários testes estatísticos diferentes para escolher. Um teste t padrão compara as médias de dois conjuntos de dados, como nossos dados de medicamento do estudo e nossos dados de placebo. Um teste t pareado é usado para detectar diferenças no mesmo conjunto de dados, como um estudo antes e depois. Uma Análise de Variância (ANOVA) unilateral pode comparar as médias de três ou mais conjuntos de dados, e uma ANOVA bidirecional compara o meios de dois ou mais conjuntos de dados em resposta a duas variáveis independentes diferentes, como diferentes pontos fortes do estudo medicamento. Uma regressão linear compara as médias dos conjuntos de dados ao longo de um gradiente de tratamentos ou tempo. Cada teste estatístico resultará em medidas de significância, ou alfa, que podem ser usadas para interpretar os resultados do teste.