На початку наукових досліджень дослідники часто застосовували дуже прості підходи до експериментів. Поширений підхід був відомий як "один фактор за раз" (або OFAT) і включав зміну однієї змінної в експерименті та спостереження за результатами, а потім перехід до наступної окремої змінної. Сучасні вчені використовують більш складні методи проведення випробувань, де вони розглядають різні джерела варіацій, які можуть вплинути на результати.
Дизайн експерименту
Процес розробки експерименту - це метод складання тестів, які забезпечують максимально можливу інформацію. Як правило, розроблений експеримент призначений для виявлення впливу різних факторів на результат процесу. Вчені влаштовують експерименти, які покажуть, чи є варіація між суб'єктами, яким піддається різних факторів більше, ніж варіація в групах суб'єктів, котрі всі піддаються одному і тому ж фактор. Деякі розроблені експерименти також можуть показати, чи є взаємодія між різними факторами.
Всередині предметів
Варіація предмета в експерименті стосується варіацій, виявлених у групі суб'єктів, до яких всі ставляться однаково. Якщо лікар тестує три ліки, щоб виявити різницю в їх ефективності, а також зацікавлений у різниці між ними статей, вона могла б розділити чоловіків на три групи і лікувати кожну іншим ліком, а потім робити те саме з трьома жінками групи. Однак навіть у однієї групи суб'єктів (одна і та ж стать, однакові ліки) різні пацієнти матимуть різну реакцію. Це внутрішня варіація теми.
Між предметами
Інший тип варіацій в експерименті полягає між суб’єктом. Це різниця між різними групами, що зазнають впливу різних факторів. На прикладі тестів лікаря вона розгляне різницю середнього часу відновлення між чоловічими та жіночими групами, а також між кожною з груп, які приймають одне з трьох ліків. У кожному випадку між групами, ймовірно, існуватимуть відмінності. Завдання розробленого експерименту полягає в тому, щоб визначити, чи є ця різниця статистично значущою.
АНОВА
Дослідник використовуватиме ANOVA, дисперсійний аналіз, статистику для порівняння між варіаціями предмета та між ними. Тест ANOVA співвідносить варіації "всередині" та "між". Якщо в одних і тих самих групах є значні розбіжності, це говорить про те, що сам тест, як правило, має широкий діапазон результатів. Якщо варіація "всередині" відповідає варіації "між", тест ANOVA зробить висновок, що дослідник не може сказати що фактори мали вплив, оскільки будь-які очевидні ефекти могли бути просто обумовлені випадковими варіаціями, які були помічені в тесті групи. Більш складний підхід, відомий як двостороння ANOVA, також може виявляти взаємодію між факторами.
