La signification statistique est un indicateur objectif de savoir si les résultats d'une étude sont mathématiquement « réels » et statistiquement défendables, plutôt qu'un simple hasard. Les tests de signification couramment utilisés recherchent des différences dans les moyennes des ensembles de données ou des différences dans les variances des ensembles de données. Le type de test appliqué dépend du type de données analysées. Il appartient aux chercheurs de déterminer à quel point ils exigent que les résultats soient significatifs - en d'autres termes, le risque qu'ils sont prêts à prendre pour se tromper. En règle générale, les chercheurs sont prêts à accepter un niveau de risque de 5 %.
Erreur de type I: rejeter à tort l'hypothèse nulle
•••Scott Rothstein/iStock/Getty Images
Des expériences sont menées pour tester des hypothèses spécifiques, ou des questions expérimentales avec un résultat attendu. Une hypothèse nulle est une hypothèse qui ne détecte aucune différence entre les deux ensembles de données comparés. Dans un essai médical, par exemple, l'hypothèse nulle pourrait être qu'il n'y a pas de différence d'amélioration entre les patients recevant le médicament à l'étude et les patients recevant le placebo. Si le chercheur rejette à tort cette hypothèse nulle alors qu'elle est vraie, c'est-à-dire s'il « détecte » une différence entre les deux groupes de patients alors qu'il n'y avait vraiment pas de différence, alors ils ont commis un type I Erreur. Les chercheurs déterminent à l'avance le risque de commettre une erreur de type I qu'ils sont prêts à accepter. Ce risque est basé sur une valeur p maximale qu'ils accepteront avant de rejeter l'hypothèse nulle, et est appelé alpha.
Erreur de type II: rejeter à tort l'hypothèse alternative
Une hypothèse alternative est celle qui détecte une différence entre les deux ensembles de données comparés. Dans le cas de l'essai médical, vous vous attendriez à voir différents niveaux d'amélioration chez les patients recevant le médicament à l'étude et les patients recevant le placebo. Si les chercheurs ne rejettent pas l'hypothèse nulle alors qu'ils le devraient, c'est-à-dire s'ils ne « détectent » aucune différence entre les deux groupes de patients alors qu'il y avait vraiment une différence, alors ils ont commis un type II erreur.
Détermination du niveau d'importance
Lorsque les chercheurs effectuent un test de signification statistique et que la valeur p résultante est inférieure au niveau de risque jugé acceptable, le résultat du test est alors considéré comme statistiquement significatif. Dans ce cas, l'hypothèse nulle - l'hypothèse qu'il n'y a pas de différence entre les deux groupes - est rejetée. En d'autres termes, les résultats indiquent qu'il existe une différence d'amélioration entre les patients recevant le médicament à l'étude et les patients recevant le placebo.
Choisir un test de signification
Vous avez le choix entre plusieurs tests statistiques. Un test t standard compare les moyennes de deux ensembles de données, telles que nos données sur le médicament à l'étude et nos données sur le placebo. Un test t apparié est utilisé pour détecter les différences dans le même ensemble de données, comme une étude avant-après. Une analyse de variance à un facteur (ANOVA) peut comparer les moyennes de trois ensembles de données ou plus, et une ANOVA à deux facteurs compare les moyennes de deux ensembles de données ou plus en réponse à deux variables indépendantes différentes, telles que différentes forces de l'étude drogue. Une régression linéaire compare les moyennes des ensembles de données le long d'un gradient de traitements ou de temps. Chaque test statistique donnera lieu à des mesures de signification, ou alpha, qui peuvent être utilisées pour interpréter les résultats du test.