Statistická významnost je objektivním ukazatelem toho, zda jsou výsledky studie matematicky „skutečné“ a statisticky obhájitelné, spíše než jen náhodný výskyt. Běžně používané testy významnosti hledají rozdíly ve prostředcích souborů dat nebo rozdíly v odchylkách souborů dat. Typ použitého testu závisí na typu dat, která se analyzují. Je na vědcích, aby určili, jak významné vyžadují výsledky - jinými slovy, jaké riziko jsou ochotni podstoupit, když se mýlí. Vědci jsou obvykle ochotni akceptovat úroveň rizika 5 procent.
Chyba typu I: Špatné odmítnutí nulové hypotézy
•••Scott Rothstein / iStock / Getty Images
Experimenty jsou prováděny za účelem testování konkrétních hypotéz nebo experimentálních otázek s očekávaným výsledkem. Nulová hypotéza je hypotéza, která nezjistí žádný rozdíl mezi dvěma porovnávanými soubory dat. Například v lékařské studii může být nulovou hypotézou, že neexistuje žádný rozdíl ve zlepšení mezi pacienty, kteří dostávali studovaný lék, a pacienty, kteří dostávali placebo. Pokud výzkumník nesprávně odmítne tuto nulovou hypotézu, když je ve skutečnosti pravdivá, jinými slovy, pokud „detekuje“ rozdíl mezi těmito dvěma skupinami pacientů, když ve skutečnosti nebyl žádný rozdíl, pak se dopustili I. typu chyba. Výzkumníci předem určují, jaké velké riziko spáchání chyby typu I jsou ochotni přijmout. Toto riziko je založeno na maximální hodnotě p, kterou přijmou před odmítnutím nulové hypotézy, a nazývá se alfa.
Chyba typu II: Špatné odmítnutí alternativní hypotézy
Alternativní hypotéza je hypotéza, která detekuje rozdíl mezi dvěma sadami porovnávaných dat. V případě lékařské studie byste očekávali různé úrovně zlepšení u pacientů užívajících studovaný lék a pacientů užívajících placebo. Pokud vědci neodmítnou nulovou hypotézu, kdy by měli, jinými slovy, pokud „zjistí“ ne rozdíl mezi těmito dvěma skupinami pacientů, když skutečně existoval rozdíl, pak spáchali typ Chyba II.
Stanovení úrovně důležitosti
Pokud vědci provedou test statistické významnosti a výsledná hodnota p je nižší než úroveň rizika považovaná za přijatelnou, považuje se výsledek testu za statisticky významný. V tomto případě je nulová hypotéza - hypotéza, že mezi oběma skupinami není rozdíl - odmítnuta. Jinými slovy, výsledky naznačují, že existuje rozdíl ve zlepšení mezi pacienty, kteří dostávali studovaný lék, a pacienty, kteří dostávali placebo.
Výběr testu významnosti
Na výběr je několik různých statistických testů. Standardní t-test porovnává průměr ze dvou datových souborů, jako jsou údaje o studovaném léčivu a údaje o placebu. Spárovaný t-test se používá k detekci rozdílů ve stejném souboru dat, jako je studie před a po. Jednosměrná analýza rozptylu (ANOVA) může porovnávat průměr ze tří nebo více datových sad a obousměrná ANOVA porovnává prostředky dvou nebo více datových souborů v reakci na dvě různé nezávislé proměnné, jako jsou různé síly studie lék. Lineární regrese porovnává průměr datových sad podél gradientu ošetření nebo času. Výsledkem každého statistického testu bude míra významnosti neboli alfa, kterou lze použít k interpretaci výsledků testu.