Изследователите в ранните дни на научните изследвания често са използвали много прости подходи за експериментиране. Един често срещан подход беше известен като „един фактор в даден момент“ (или OFAT) и включваше промяна на една променлива в експеримент и наблюдение на резултатите, след което преминаване към следващата единична променлива. Съвременните учени използват по-усъвършенствани методи за провеждане на опити, при които разглеждат различни източници на вариации, които могат да повлияят на резултатите.
Експериментален дизайн
Процесът на проектиране на експеримента е метод за съставяне на тестове, които осигуряват възможно най-много информация. Обикновено проектираният експеримент има за цел да открие ефектите на различни фактори върху резултата от процеса. Учените съставят експерименти, които ще покажат дали вариацията между обектите, изложени на различни фактори е по-голяма от вариацията в групи от субекти, всички изложени на едни и същи фактор. Някои проектирани експерименти също могат да покажат дали има някакви взаимодействия между различни фактори.
В рамките на теми
В рамките на обект вариацията в експеримент се отнася до вариацията, наблюдавана при група субекти, които всички се третират по един и същи начин. Ако лекар тества три лекарства, за да търси разлика в тяхната ефективност и също се интересува от разликите между тях пола, тя може да отдели субектите от мъжки пол на три групи и да лекува всяка с различно лекарство, след което да направи същото с три жени групи. Дори в рамките на една група пациенти (един и същи пол, едно и също лекарство) обаче, различните пациенти ще имат различен отговор. Това е вариацията в темата.
Между субектите
Другият тип вариации в експеримента са между обект. Това е разликата между различните групи, изложени на различни фактори. В примера на тестовете на лекаря тя ще разгледа разликата в средното време за възстановяване между мъжките и женските групи, както и между всяка от групите, приемащи едно от трите лекарства. Във всеки случай вероятно ще има разлики между групите. Задачата на проектирания експеримент е да види дали тази разлика е статистически значима.
АНОВА
Изследователят ще използва ANOVA, дисперсионен анализ, статистика, за да сравнява между и между вариацията на обекта. Тестът ANOVA съотнася вариациите "отвътре" към "между". Ако има значителни различия в рамките на същите групи, това предполага, че самият тест има тенденция да има широк спектър от резултати. Ако вариацията "вътре" е наравно с вариацията "между", тестът ANOVA ще заключи, че изследователят не може да каже че факторите са имали ефект, тъй като всякакви очевидни ефекти могат да се дължат просто на случайната вариация, която се наблюдава в теста групи. По-сложният подход, известен като двупосочен ANOVA, може също да открива взаимодействия между факторите.