Forskere i de tidlige dage af videnskabelig undersøgelse brugte ofte meget enkle metoder til eksperimentering. En almindelig tilgang var kendt som "en faktor ad gangen" (eller OFAT) og involverede at ændre en variabel i et eksperiment og observere resultaterne og derefter gå videre til den næste enkelt variabel. Moderne forskere bruger mere sofistikerede metoder til at udføre forsøg, hvor de overvejer forskellige variationskilder, der kan påvirke resultaterne.
Eksperiment Design
Processen med eksperimentdesign er en metode til at sammensætte tests, der giver den mest mulige information. Typisk er et designet eksperiment beregnet til at finde virkningen af forskellige faktorer på resultatet af en proces. Forskere sammensatte eksperimenter, der viser, om variationen mellem forsøgspersoner udsættes for forskellige faktorer er større end variationen inden for grupper af forsøgspersoner, der alle udsættes for det samme faktor. Nogle designede eksperimenter kan også vise, om der er interaktioner mellem forskellige faktorer.
Inden for emner
Inden for subjektvariation i et eksperiment refererer til variationen set i en gruppe af emner, som alle behandles på samme måde. Hvis en læge tester tre lægemidler for at se efter en forskel i deres effektivitet og også er interesseret i forskelle mellem køn, kan hun opdele mandlige forsøgspersoner i tre grupper og behandle hver med en anden medicin og derefter gøre det samme med tre kvinder grupper. Selv inden for en gruppe fag (samme køn, samme medicin) vil forskellige patienter dog have forskellige svar. Dette er den inden for emne variation.
Mellem emner
Den anden type variation i et eksperiment er mellem emner. Dette er forskellen mellem forskellige grupper udsat for forskellige faktorer. I eksemplet med lægens tests ville hun se på forskellen i gennemsnitlig restitutionstid mellem mandlige og kvindelige grupper og også mellem hver af de grupper, der tog en af de tre lægemidler. I begge tilfælde vil der sandsynligvis være forskelle mellem grupperne. Opgaven med det designede eksperiment er at se, om denne forskel er statistisk signifikant.
ANOVA
En forsker vil bruge ANOVA, variansanalyse, statistik til at sammenligne inden for og mellem fagvariationer. ANOVA-testen udgør "inden" til "mellem" variationerne. Hvis der er signifikant variation inden for de samme grupper, antyder dette, at selve testen har tendens til at have en bred vifte af resultater. Hvis "inden" variationen er på niveau med "mellem" variationen, vil ANOVA-testen konkludere, at forskeren ikke kan sige at faktorerne havde en effekt, da enhver tilsyneladende virkning bare kunne skyldes den tilfældige variation, der blev set inden for testen grupper. En mere sofistikeret tilgang, kendt som tovejs ANOVA, kan også detektere interaktioner mellem faktorer.