Verschillen tussen ontwerp binnen en tussen onderwerpen

Onderzoekers in de begindagen van wetenschappelijk onderzoek gebruikten vaak zeer eenvoudige benaderingen om te experimenteren. Een gemeenschappelijke benadering stond bekend als "één factor tegelijk" (of OFAT) en hield in dat één variabele in een experiment werd gewijzigd en de resultaten werden geobserveerd, om vervolgens door te gaan naar de volgende enkele variabele. Moderne wetenschappers gebruiken meer geavanceerde methoden voor het uitvoeren van proeven waarbij ze rekening houden met verschillende bronnen van variatie die de resultaten kunnen beïnvloeden.

Het proces van experimentontwerp is een methode om tests samen te stellen die de meeste informatie opleveren. Meestal is een ontworpen experiment bedoeld om de effecten van verschillende factoren op de uitkomst van een proces te vinden. Wetenschappers stellen experimenten samen die zullen aantonen of de variatie tussen onderwerpen die worden blootgesteld aan verschillende factoren is groter dan de variatie binnen groepen proefpersonen die allemaal aan hetzelfde zijn blootgesteld factor. Sommige ontworpen experimenten kunnen ook aantonen of er interacties zijn tussen verschillende factoren.

Binnen proefpersonenvariatie in een experiment verwijst naar de variatie die wordt waargenomen in een groep proefpersonen die allemaal op dezelfde manier worden behandeld. Als een arts drie geneesmiddelen test om te kijken naar een verschil in effectiviteit, en ook geïnteresseerd is in verschillen tussen: geslachten, kan ze mannelijke proefpersonen in drie groepen verdelen en elk met een ander medicijn behandelen, en vervolgens hetzelfde doen met drie vrouwen groepen. Zelfs binnen één groep proefpersonen (zelfde geslacht, hetzelfde geneesmiddel) zullen verschillende patiënten echter verschillende reacties hebben. Dit is de variatie binnen het onderwerp.

Het andere type variatie in een experiment is tussen proefpersonen. Dit is het verschil tussen verschillende groepen die aan verschillende factoren zijn blootgesteld. In het voorbeeld van de dokterstests zou ze kijken naar het verschil in gemiddelde hersteltijd tussen mannelijke en vrouwelijke groepen en ook tussen elk van de groepen die een van de drie medicijnen gebruikten. In elk geval zullen er waarschijnlijk verschillen tussen de groepen zijn. De taak van het ontworpen experiment is om te zien of dit verschil statistisch significant is.

Een onderzoeker zal ANOVA, variantieanalyse, statistieken gebruiken om binnen en tussen subjectvariatie te vergelijken. De ANOVA-test vergelijkt de "binnen" tot de "tussen" variaties. Als er significante variatie is binnen dezelfde groepen, suggereert dit dat de test zelf meestal een breed scala aan resultaten heeft. Als de "binnen"-variatie gelijk is aan de "tussen"-variatie, zal de ANOVA-test concluderen dat de onderzoeker niet kan zeggen dat de factoren een effect hadden, aangezien eventuele schijnbare effecten gewoon te wijten kunnen zijn aan de willekeurige variatie die werd gezien in de test groepen. Een meer geavanceerde benadering, bekend als tweerichtings-ANOVA, kan ook interacties tussen factoren detecteren.