Vedci v počiatkoch vedeckého skúmania často používali veľmi jednoduché prístupy k experimentovaniu. Spoločný prístup bol známy ako „jeden faktor v čase“ (alebo OFAT) a zahŕňal zmenu jednej premennej v experimente a pozorovanie výsledkov, potom prechod na ďalšiu jedinú premennú. Dnešní vedci používajú sofistikovanejšie metódy uskutočňovania pokusov, pri ktorých berú do úvahy rôzne zdroje variácií, ktoré by mohli ovplyvniť výsledky.
Návrh experimentu
Proces navrhovania experimentu je metóda zostavovania testov, ktoré poskytujú čo najviac informácií. Navrhnutý experiment je zvyčajne určený na nájdenie účinkov rôznych faktorov na výsledok procesu. Vedci spojili experimenty, ktoré ukážu, či sú rozdiely medzi subjektmi vystavené rôznych faktorov je väčšia ako zmena v skupinách subjektov, ktoré sú všetky vystavené rovnakým účinkom faktor. Niektoré navrhnuté experimenty môžu tiež ukázať, či existujú interakcie medzi rôznymi faktormi.
V rámci predmetov
V rámci variácie subjektu v experimente sa odkazuje na variáciu pozorovanú v skupine subjektov, s ktorými sa zaobchádza rovnako. Ak lekár skúša tri lieky, aby zistil rozdiel v ich účinnosti, zaujímajú ho tiež rozdiely medzi nimi pohlavia, mohla rozdeliť mužské subjekty do troch skupín a každú liečiť iným liekom, potom to isté urobiť s tromi ženskými skupiny. Aj v rámci jednej skupiny subjektov (rovnakého pohlavia, rovnakého liečiva) však budú mať rôzni pacienti rôzne odpovede. Toto je variácia v rámci predmetu.
Medzi predmetmi
Druhý typ variácie v experimente je medzi predmetom. To je rozdiel medzi rôznymi skupinami vystavenými rôznym faktorom. V príklade testov lekára by sa pozrela na rozdiel v priemernom čase zotavenia medzi mužskými a ženskými skupinami a tiež medzi každou zo skupín užívajúcich jeden z troch liekov. V obidvoch prípadoch budú pravdepodobne existovať rozdiely medzi skupinami. Úlohou navrhnutého experimentu je zistiť, či je tento rozdiel štatisticky významný.
ANOVA
Výskumný pracovník použije ANOVA, analýzu rozptylu, štatistiku na porovnanie medzi a medzi zmenami subjektu. Test ANOVA je pomerom variácií „medzi“ a „medzi“. Ak existujú výrazné rozdiely v rámci rovnakých skupín, naznačuje to, že samotný test má tendenciu mať široký rozsah výsledkov. Ak je variácia „v rámci“ na rovnakej úrovni ako variácia „medzi“, testom ANOVA dôjde k záveru, že výskumník nemôže povedať že faktory mali účinok, pretože akékoľvek zjavné účinky mohli byť spôsobené iba náhodnou zmenou, ktorá sa prejavila v teste skupiny. Sofistikovanejší prístup, známy ako obojsmerná ANOVA, môže tiež detekovať interakcie medzi faktormi.