Badacze na początku badań naukowych często stosowali bardzo proste podejścia do eksperymentów. Powszechne podejście było znane jako „jeden czynnik na raz” (lub OFAT) i polegało na zmianie jednej zmiennej w eksperymencie i obserwowaniu wyników, a następnie przejściu do następnej pojedynczej zmiennej. Współcześni naukowcy stosują bardziej wyrafinowane metody przeprowadzania prób, w których rozważają różne źródła zmienności, które mogą wpływać na wyniki.
Projekt eksperymentu
Proces projektowania eksperymentu to metoda łączenia testów, które dostarczają jak najwięcej informacji. Zazwyczaj zaprojektowany eksperyment ma na celu znalezienie wpływu różnych różnych czynników na wynik procesu. Naukowcy zebrali eksperymenty, które pokażą, czy zróżnicowanie między osobnikami narażonymi na: różne czynniki są większe niż zróżnicowanie w obrębie grup osób narażonych na to samo czynnik. Niektóre zaprojektowane eksperymenty mogą również pokazać, czy istnieją interakcje między różnymi czynnikami.
W ramach przedmiotów
Zmienność w obrębie podmiotu w eksperymencie odnosi się do zróżnicowania zaobserwowanego w grupie podmiotów, które są traktowane w ten sam sposób. Jeśli lekarz testuje trzy leki, aby znaleźć różnicę w ich skuteczności, a także interesuje się różnicami między płci, może podzielić mężczyzn na trzy grupy i traktować każdego innym lekiem, a następnie zrobić to samo z trzema kobietami grupy. Jednak nawet w obrębie jednej grupy pacjentów (tej samej płci, tego samego leku) różni pacjenci będą mieli różne odpowiedzi. To jest wariacja w obrębie tematu.
Między podmiotami
Inny rodzaj zmienności w eksperymencie występuje między podmiotami. To jest różnica między różnymi grupami narażonymi na różne czynniki. Na przykładzie badań lekarskich przyjrzy się różnicy w średnim czasie rekonwalescencji między grupami mężczyzn i kobiet, a także między każdą z grup przyjmujących jeden z trzech leków. W każdym przypadku prawdopodobnie będą różnice między grupami. Zadaniem zaprojektowanego eksperymentu jest sprawdzenie, czy różnica ta jest istotna statystycznie.
ANOVA
Badacz użyje ANOVA, analizy wariancji, statystyk do porównania wariancji wewnątrz i pomiędzy podmiotami. Test ANOVA stosuje stosunek „w” do „pomiędzy” wariacjami. Jeśli istnieje znaczna zmienność w obrębie tych samych grup, sugeruje to, że sam test ma zwykle szeroki zakres wyników. Jeśli zmienność „w obrębie” jest na równi z zmiennością „pomiędzy”, test ANOVA wykaże, że badacz nie może powiedzieć że czynniki miały wpływ, ponieważ wszelkie widoczne efekty mogły wynikać po prostu z losowej zmienności, którą zaobserwowano w teście grupy. Bardziej wyrafinowane podejście, znane jako dwukierunkowa ANOVA, może również wykrywać interakcje między czynnikami.