כאשר קבוצת נתונים מכילה שני משתנים שעשויים להתייחס, כמו גבהים ומשקלים של אנשים פרטיים, ניתוח רגרסיה מוצא פונקציה מתמטית המתקרבת בצורה הטובה ביותר ליחסים. סכום השאריות הוא מדד לכמה עבודה טובה עושה הפונקציה.
בניתוח רגרסיה, אנו בוחרים משתנה אחד שיהיה "המשתנה המסביר", אותו אנו מכנים x, והשני יהיה "משתנה התגובה" אותו אנו מכנים y. ניתוח רגרסיה יוצר את הפונקציה y = f (x) המנבא בצורה הטובה ביותר את משתנה התגובה ממשתנה ההסבר הקשור אליו. אם x [i] הוא אחד המשתנים המסבירים, ו- y [i] משתנה התגובה שלו, הרי שהשארית היא השגיאה, או ההבדל בין הערך האמיתי של y [i] לבין הערך החזוי של y [i]. במילים אחרות, שיורי = y [i] - f (x [i]).
מערכת נתונים מכילה את הגבהים בסנטימטרים ומשקולות בקילוגרמים של 5 אנשים: [(152,54), (165,65), (175,100), (170,80), (140, 45)]. התאמה ריבועית של משקל, w, לגובה, h, היא w = f (h) = 1160 -15.5_h + 0.054_h ^ 2. השאריות הן (בק"ג): [2.38, 7.65, 1.25, 5.60, 3.40]. סכום השאריות הוא 15.5 ק"ג.
הסוג הפשוט ביותר של רגרסיה הוא רגרסיה לינארית, בה הפונקציה המתמטית היא קו ישר של הצורה y = m * x + b. במקרה זה, סכום השאריות הוא 0 בהגדרה.