Када скуп података садржи две променљиве које се могу повезати, као што су висине и тежине појединаца, регресијска анализа проналази математичку функцију која најбоље приближава однос. Збир резидуала мерило је колико добар посао функција обавља.
У регресионој анализи одабиремо једну променљиву која ће бити „објашњавајућа променљива“, коју ћемо назвати к, а друга ће бити „променљива одговора“ коју ћемо назвати и. Регресијска анализа креира функцију и = ф (к) која најбоље предвиђа променљиву одговора из њене придружене променљиве објашњења. Ако је к [и] једна од променљивих објашњења, а и [и] његова променљива одговора, тада је резидуал грешка или разлика између стварне вредности и [и] и предвиђене вредности и [и]. Другим речима, резидуал = и [и] - ф (к [и]).
Скуп података садржи висине у центиметрима и тежине у килограмима 5 људи: [(152,54), (165,65), (175,100), (170,80), (140, 45)]. Квадратни фит тежине, в, за висину, х, је в = ф (х) = 1160 -15,5_х + 0,054_х ^ 2. Преостали износи (у кг): [2,38, 7,65, 1,25, 5,60, 3,40]. Збир остатака је 15,5 кг.
Најједноставнија врста регресије је линеарна регресија, у којој је математичка функција равна линија облика и = м * к + б. У овом случају, збир остатака је 0 по дефиницији.