Os pesquisadores nos primeiros dias da investigação científica costumavam usar abordagens muito simples para a experimentação. Uma abordagem comum era conhecida como "um fator de cada vez" (ou OFAT) e envolvia a alteração de uma variável em um experimento e a observação dos resultados, passando então para a próxima variável única. Os cientistas modernos usam métodos mais sofisticados de realização de testes em que consideram diferentes fontes de variação que podem afetar os resultados.
Design de experimento
O processo de desenho de experimentos é um método de montar testes que fornecem o máximo de informações possível. Normalmente, um experimento planejado se destina a encontrar os efeitos de vários fatores diferentes no resultado de um processo. Os cientistas montaram experimentos que vão mostrar se a variação entre os sujeitos expostos a diferentes fatores é maior do que a variação dentro de grupos de assuntos todos expostos ao mesmo fator. Alguns experimentos planejados também podem mostrar se há alguma interação entre vários fatores.
Dentro dos Assuntos
A variação dentro do sujeito em um experimento se refere à variação vista em um grupo de sujeitos que são tratados da mesma maneira. Se um médico está testando três medicamentos para procurar uma diferença em sua eficácia, e também está interessado nas diferenças entre sexos, ela pode separar os indivíduos do sexo masculino em três grupos e tratar cada um com um medicamento diferente, depois fazer o mesmo com três mulheres grupos. Mesmo dentro de um grupo de assuntos (mesmo sexo, mesmo medicamento), no entanto, pacientes diferentes terão respostas diferentes. Esta é a variação dentro do assunto.
Entre assuntos
O outro tipo de variação em um experimento é entre sujeitos. Esta é a diferença entre diferentes grupos expostos a diferentes fatores. No exemplo dos exames do médico, ela veria a diferença no tempo médio de recuperação entre os grupos de homens e mulheres e também entre cada um dos grupos que tomavam um dos três medicamentos. Em cada caso, provavelmente haverá diferenças entre os grupos. A tarefa do experimento projetado é verificar se essa diferença é estatisticamente significativa.
ANOVA
Um pesquisador usará ANOVA, análise de variância, estatísticas para comparar variações dentro e entre assuntos. O teste ANOVA relaciona as variações "dentro" com as "entre". Se houver variação significativa dentro dos mesmos grupos, isso sugere que o próprio teste tende a ter uma ampla gama de resultados. Se a variação "dentro" estiver no mesmo nível da variação "entre", o teste ANOVA irá concluir que o pesquisador não pode dizer que os fatores tiveram um efeito, uma vez que quaisquer efeitos aparentes podem ser apenas devido à variação aleatória que foi observada no teste grupos. Uma abordagem mais sofisticada, conhecida como ANOVA bidirecional, também pode detectar interações entre fatores.
