I ricercatori nei primi giorni della ricerca scientifica spesso usavano approcci molto semplici alla sperimentazione. Un approccio comune era noto come "un fattore alla volta" (o OFAT) e prevedeva la modifica di una variabile in un esperimento e l'osservazione dei risultati, quindi il passaggio alla variabile successiva. Gli scienziati moderni utilizzano metodi più sofisticati per eseguire prove in cui considerano diverse fonti di variazione che potrebbero influenzare i risultati.
Progettazione dell'esperimento
Il processo di progettazione dell'esperimento è un metodo per mettere insieme i test che forniscono il maggior numero di informazioni possibili. In genere, un esperimento progettato ha lo scopo di trovare gli effetti di diversi fattori diversi sull'esito di un processo. Gli scienziati hanno messo insieme esperimenti che mostreranno se la variazione tra i soggetti esposti a fattori diversi è maggiore della variazione all'interno di gruppi di soggetti tutti esposti allo stesso fattore. Alcuni esperimenti progettati possono anche mostrare se ci sono interazioni tra vari fattori.
All'interno dei soggetti
La variazione all'interno di un soggetto in un esperimento si riferisce alla variazione osservata in un gruppo di soggetti trattati tutti allo stesso modo. Se un medico sta testando tre farmaci per cercare una differenza nella loro efficacia ed è anche interessato alle differenze tra sessi, potrebbe separare i soggetti maschi in tre gruppi e trattare ciascuno con una medicina diversa, quindi fare lo stesso con tre femmine gruppi. Anche all'interno di un gruppo di soggetti (stesso sesso, stesso medicinale), tuttavia, pazienti diversi avranno risposte diverse. Questa è la variazione all'interno del soggetto.
Tra i soggetti
L'altro tipo di variazione in un esperimento è tra soggetti. Questa è la differenza tra diversi gruppi esposti a diversi fattori. Nell'esempio dei test del medico, lei guarderebbe la differenza nel tempo medio di recupero tra i gruppi maschili e femminili e anche tra ciascuno dei gruppi che assumono uno dei tre farmaci. In ogni caso, ci saranno probabilmente differenze tra i gruppi. Il compito dell'esperimento progettato è vedere se questa differenza è statisticamente significativa.
ANOVA
Un ricercatore utilizzerà ANOVA, analisi della varianza, statistiche per confrontare all'interno e tra le variazioni del soggetto. Il test ANOVA rapporta le variazioni "dentro" alle variazioni "tra". Se c'è una variazione significativa all'interno degli stessi gruppi, ciò suggerisce che il test stesso tende ad avere un'ampia gamma di risultati. Se la variazione "dentro" è alla pari con la variazione "tra", il test ANOVA concluderà che il ricercatore non può dire che i fattori hanno avuto un effetto, poiché qualsiasi effetto apparente potrebbe essere dovuto solo alla variazione casuale che è stata osservata all'interno del test gruppi. Un approccio più sofisticato, noto come ANOVA a due vie, può anche rilevare le interazioni tra i fattori.