Vědci v počátcích vědeckého výzkumu často používali velmi jednoduché přístupy k experimentování. Běžný přístup byl znám jako „jeden faktor najednou“ (nebo OFAT) a zahrnoval změnu jedné proměnné v experimentu a pozorování výsledků, poté přechod k další jednotlivé proměnné. Moderní vědci používají sofistikovanější metody provádění pokusů, kdy berou v úvahu různé zdroje variací, které by mohly ovlivnit výsledky.
Návrh experimentu
Proces navrhování experimentu je metoda sestavování testů, které poskytují co nejvíce informací. Typicky je navržený experiment určen k nalezení účinků různých faktorů na výsledek procesu. Vědci sestavili experimenty, které ukáží, zda jsou rozdíly mezi subjekty vystaveny různé faktory jsou větší než variace ve skupinách subjektů, které jsou všechny vystaveny stejným faktorům faktor. Některé navržené experimenty mohou také ukázat, zda existují interakce mezi různými faktory.
V rámci předmětů
V rámci variace subjektu v experimentu se odkazuje na variaci pozorovanou ve skupině subjektů, se kterými se zachází stejně. Pokud lékař testuje tři léky, aby zjistil rozdíl v jejich účinnosti, a zajímají ho také rozdíly mezi nimi pohlaví, mohla oddělit mužské subjekty do tří skupin a léčit každý jiným lékem, pak udělat totéž se třemi ženami skupiny. I v rámci jedné skupiny subjektů (stejného pohlaví, stejného léku) však budou mít různí pacienti různé odpovědi. Toto je variace v rámci předmětu.
Mezi předměty
Druhý typ variace v experimentu je mezi předmětem. To je rozdíl mezi různými skupinami vystavenými různým faktorům. V příkladu lékařových testů by zkoumala rozdíl v průměrné době zotavení mezi mužskými a ženskými skupinami a také mezi každou ze skupin užívajících jeden ze tří léků. V každém případě budou mezi skupinami pravděpodobně rozdíly. Úkolem navrženého experimentu je zjistit, zda je tento rozdíl statisticky významný.
ANOVA
Výzkumník použije ANOVA, analýzu rozptylu, statistiky k porovnání uvnitř a mezi variacemi subjektu. Test ANOVA převádí variace „uvnitř“ na „mezi“. Pokud existuje významná variace ve stejných skupinách, naznačuje to, že samotný test má tendenci mít širokou škálu výsledků. Pokud je variace „uvnitř“ na stejné úrovni jako variace „mezi“, test ANOVA dospěje k závěru, že výzkumník nemůže říci že faktory měly účinek, protože jakékoli zjevné účinky mohly být způsobeny pouze náhodnou změnou, která byla viditelná v testu skupiny. Sofistikovanější přístup, známý jako obousměrná ANOVA, může také detekovat interakce mezi faktory.