Когато набор от данни съдържа две променливи, които могат да се отнасят, като височини и тегла на индивидите, регресионният анализ намира математическа функция, която най-добре приближава връзката. Сумата от остатъци е мярка за това колко добра работа върши функцията.
При регресионния анализ ние избираме едната променлива да бъде „обяснителната променлива“, която ще наречем x, а другата да бъде „променливата на отговора“, която ще наречем y. Регресионният анализ създава функцията y = f (x), която най-добре предсказва променливата на отговора от свързаната с нея обяснителна променлива. Ако x [i] е една от обяснителните променливи, а y [i] нейната променлива за отговор, тогава остатъкът е грешката или разликата между действителната стойност на y [i] и прогнозираната стойност на y [i]. С други думи, остатъчно = y [i] - f (x [i]).
Набор от данни съдържа височината в сантиметри и теглото в килограми на 5 души: [(152,54), (165,65), (175,100), (170,80), (140, 45)]. Квадратичното прилягане на теглото, w, за височина, h, е w = f (h) = 1160 -15.5_h + 0.054_h ^ 2. Остатъците са (в кг): [2,38, 7,65, 1,25, 5,60, 3,40]. Сумата на остатъците е 15,5 кг.
Най-простият вид регресия е линейната регресия, при която математическата функция е права линия с формата y = m * x + b. В този случай сумата на остатъците е 0 по дефиниция.