Statistische significantie is een objectieve indicator of de resultaten van een onderzoek wiskundig "reëel" en statistisch verdedigbaar zijn, in plaats van slechts een toevallige gebeurtenis. Veelgebruikte significantietests zoeken naar verschillen in de gemiddelden van datasets of verschillen in de varianties van datasets. Het type test dat wordt toegepast, is afhankelijk van het type gegevens dat wordt geanalyseerd. Het is aan de onderzoekers om te bepalen hoe belangrijk ze de resultaten nodig hebben - met andere woorden, hoeveel risico ze bereid zijn te nemen om ongelijk te hebben. Doorgaans zijn onderzoekers bereid een risiconiveau van 5 procent te accepteren.
Type I-fout: de nulhypothese ten onrechte verwerpen
•••Scott Rothstein/iStock/Getty Images
Er worden experimenten uitgevoerd om specifieke hypothesen te testen, of experimentele vragen met een verwacht resultaat. Een nulhypothese is er een die geen verschil detecteert tussen de twee sets gegevens die worden vergeleken. In een medisch onderzoek kan de nulhypothese bijvoorbeeld zijn dat er geen verschil in verbetering is tussen patiënten die het onderzoeksgeneesmiddel krijgen en patiënten die de placebo krijgen. Als de onderzoeker deze nulhypothese ten onrechte verwerpt terwijl deze in feite waar is, met andere woorden als hij een verschil tussen de twee groepen patiënten wanneer er echt geen verschil was, dan hebben ze een Type I. gepleegd fout. Onderzoekers bepalen van tevoren hoeveel risico ze willen accepteren om een Type I-fout te maken. Dit risico is gebaseerd op een maximale p-waarde die ze accepteren voordat ze de nulhypothese verwerpen, en wordt alfa genoemd.
Type II-fout: de alternatieve hypothese ten onrechte verwerpen
Een alternatieve hypothese is er een die een verschil detecteert tussen de twee sets gegevens die worden vergeleken. In het geval van de medische studie zou je verschillende niveaus van verbeteringen verwachten bij patiënten die het onderzoeksgeneesmiddel krijgen en patiënten die de placebo krijgen. Als onderzoekers de nulhypothese niet verwerpen wanneer ze zouden moeten, met andere woorden als ze nee "detecteren" verschil tussen de twee groepen patiënten wanneer er echt een verschil was, dan hebben ze een Type gepleegd II fout.
Het niveau van significantie bepalen
Wanneer onderzoekers een statistische significantietoets uitvoeren en de resulterende p-waarde lager is dan het aanvaardbaar geachte risiconiveau, wordt het testresultaat als statistisch significant beschouwd. In dit geval wordt de nulhypothese - de hypothese dat er geen verschil is tussen de twee groepen - verworpen. Met andere woorden, de resultaten geven aan dat er een verschil in verbetering is tussen patiënten die het onderzoeksgeneesmiddel krijgen en patiënten die de placebo krijgen.
Een significantietest kiezen
Er zijn verschillende statistische tests om uit te kiezen. Een standaard t-test vergelijkt de gemiddelden van twee datasets, zoals onze onderzoeksgeneesmiddelgegevens en onze placebogegevens. Een gepaarde t-test wordt gebruikt voor het detecteren van verschillen in dezelfde dataset, zoals een voor-en-na-onderzoek. Een one-way variantieanalyse (ANOVA) kan de gemiddelden van drie of meer datasets vergelijken, en een two-way ANOVA vergelijkt de middel van twee of meer datasets als reactie op twee verschillende onafhankelijke variabelen, zoals verschillende sterktes van het onderzoek medicijn. Een lineaire regressie vergelijkt de gemiddelden van de datasets langs een gradiënt van behandelingen of tijd. Elke statistische test resulteert in significantiematen, of alfa, die kunnen worden gebruikt om de testresultaten te interpreteren.