מובהקות סטטיסטית מהווה אינדיקטור אובייקטיבי לשאלה האם תוצאות המחקר "אמיתיות" וניתנות להגנה סטטיסטית או לא, ולא רק במקרה. מבחני משמעות נפוצים מחפשים הבדלים באמצעי ערכות הנתונים או הבדלים בשונות ערכות הנתונים. סוג הבדיקה שיושם תלוי בסוג הנתונים שמנותחים. על החוקרים לקבוע עד כמה הם דורשים שהתוצאות יהיו משמעותיות - במילים אחרות, כמה סיכון הם מוכנים לקחת בכך שהם טועים. בדרך כלל, חוקרים מוכנים לקבל רמת סיכון של 5 אחוזים.
שגיאת סוג I: דחייה לא נכונה של השערת האפס
•••סקוט רוטשטיין / iStock / Getty Images
ניסויים נערכים לבדיקת השערות ספציפיות, או שאלות ניסיוניות עם תוצאה צפויה. השערה אפסית היא זו שלא מגלה שום הבדל בין שתי קבוצות הנתונים בהשוואה. בניסוי רפואי, למשל, השערת האפס יכולה להיות שאין הבדל בשיפור בין חולים שקיבלו את תרופת המחקר לבין חולים שקיבלו את הפלצבו. אם החוקר דוחה בטעות את השערת האפס הזו כאשר היא אכן נכונה, במילים אחרות אם הם "מזהים" א ההבדל בין שתי קבוצות החולים כאשר באמת לא היה הבדל, אז הם ביצעו סוג I שְׁגִיאָה. החוקרים קובעים מבעוד מועד כמה סיכון לביצוע שגיאת סוג I הם מוכנים לקבל. סיכון זה מבוסס על ערך p מקסימלי שהם יקבלו לפני שידחו את השערת האפס, והוא נקרא אלפא.
שגיאה מסוג II: דחייה לא נכונה של ההשערה החלופית
השערה חלופית היא זו שמגלה הבדל בין שתי קבוצות הנתונים בהשוואה. במקרה של הניסוי הרפואי, היית מצפה לראות רמות שונות של שיפורים בחולים שקיבלו את תרופת המחקר ובחולים שקיבלו את הפלצבו. אם החוקרים לא מצליחים לדחות את השערת האפס מתי שהם צריכים, במילים אחרות אם הם "מזהים" לא ההבדל בין שתי קבוצות החולים כאשר באמת היה הבדל, אז הם ביצעו סוג שגיאה II.
קביעת רמת החשיבות
כאשר חוקרים מבצעים בדיקה של מובהקות סטטיסטית וערך ה- p המתקבל נמוך מרמת הסיכון הנחשבת מקובלת, תוצאת הבדיקה נחשבת למובהקת סטטיסטית. במקרה זה, השערת האפס - ההשערה לפיה אין הבדל בין שתי הקבוצות - נדחית. במילים אחרות, התוצאות מצביעות על כך שיש הבדל בשיפור בין חולים שקיבלו את תרופת המחקר לבין חולים שקיבלו פלצבו.
בחירת מבחן משמעות
ישנם מספר מבחנים סטטיסטיים שונים לבחירה. מבחן t סטנדרטי משווה את האמצעים משני מערכי נתונים, כגון נתוני תרופות המחקר שלנו ונתוני הפלצבו שלנו. בדיקת t זוגית משמשת לאיתור הבדלים באותה מערך נתונים, כגון מחקר לפני ואחרי. ניתוח שונות של כיוון (ANOVA) יכול להשוות את האמצעים משלוש ערכות נתונים או יותר, ו- ANOVA דו-כיווני משווה בין אמצעי של שתי ערכות נתונים או יותר בתגובה לשני משתנים בלתי תלויים שונים, כגון חוזקות שונות של המחקר תְרוּפָה. רגרסיה לינארית משווה את אמצעי מערכי הנתונים לאורך שיפוע טיפולים או זמן. כל בדיקה סטטיסטית תביא למדדי משמעות, או אלפא, שניתן להשתמש בהם כדי לפרש את תוצאות הבדיקה.