Les chercheurs des premiers jours de l'investigation scientifique utilisaient souvent des approches d'expérimentation très simples. Une approche commune était connue sous le nom de « un facteur à la fois » (ou OFAT) et impliquait de changer une variable dans une expérience et d'observer les résultats, puis de passer à la variable suivante. Les scientifiques modernes utilisent des méthodes plus sophistiquées pour effectuer des essais où ils considèrent différentes sources de variation qui pourraient affecter les résultats.
Conception de l'expérience
Le processus de conception d'expériences est une méthode de mise en place d'essais qui fournissent le plus d'informations possible. En règle générale, un plan d'expérience est destiné à trouver les effets de différents facteurs sur le résultat d'un processus. Les scientifiques ont mis en place des expériences qui montreront si la variation entre les sujets exposés à facteurs différents est supérieure à la variation au sein des groupes de sujets tous exposés au même facteur. Certains plans d'expériences peuvent également montrer s'il existe des interactions entre divers facteurs.
Dans les sujets
La variation intra-sujet dans une expérience fait référence à la variation observée dans un groupe de sujets qui sont tous traités de la même manière. Si un médecin teste trois médicaments pour rechercher une différence dans leur efficacité et s'intéresse également aux différences entre genres, elle pourrait séparer les sujets masculins en trois groupes et traiter chacun avec un médicament différent, puis faire de même avec trois femmes groupes. Même au sein d'un même groupe de sujets (même sexe, même médicament), cependant, différents patients auront des réponses différentes. C'est la variation intra-sujet.
Entre les sujets
L'autre type de variation dans une expérience est entre les sujets. C'est la différence entre différents groupes exposés à différents facteurs. Dans l'exemple des tests du médecin, elle examinerait la différence de temps de récupération moyen entre les groupes d'hommes et de femmes et également entre chacun des groupes prenant l'un des trois médicaments. Dans chaque cas, il y aura probablement des différences entre les groupes. La tâche du plan d'expérience est de voir si cette différence est statistiquement significative.
ANOVA
Un chercheur utilisera l'ANOVA, l'analyse de la variance, les statistiques pour comparer les variations au sein et entre les sujets. Le test ANOVA rapporte les variations « à l'intérieur » et « entre ». S'il y a une variation significative au sein des mêmes groupes, cela suggère que le test lui-même a tendance à avoir un large éventail de résultats. Si la variation "à l'intérieur" est à égalité avec la variation "entre", le test ANOVA conclura que le chercheur ne peut pas dire que les facteurs ont eu un effet, puisque tous les effets apparents pourraient simplement être dus à la variation aléatoire qui a été observée dans le test groupes. Une approche plus sophistiquée, connue sous le nom d'ANOVA bidirectionnelle, peut également détecter les interactions entre les facteurs.