Ko niz podatkov vsebuje dve spremenljivki, ki se lahko povežeta, na primer višine in uteži posameznikov, regresijska analiza najde matematično funkcijo, ki najbolje približa razmerje. Vsota ostankov je merilo, kako dobro delo opravlja funkcija.
Pri regresijski analizi izberemo eno spremenljivko, ki bo "pojasnjevalna spremenljivka", ki jo bomo imenovali x, druga pa "spremenljivka odziva", ki jo bomo poklicali y. Regresijska analiza ustvari funkcijo y = f (x), ki najbolje napove odzivno spremenljivko iz pripadajoče pojasnjevalne spremenljivke. Če je x [i] ena od razlagalnih spremenljivk in y [i] njegova odzivna spremenljivka, je preostanek napaka ali razlika med dejansko vrednostjo y [i] in predvideno vrednostjo y [i]. Z drugimi besedami, ostanek = y [i] - f (x [i]).
Niz podatkov vsebuje višino v centimetrih in težo v kilogramih 5 ljudi: [(152,54), (165,65), (175,100), (170,80), (140, 45)]. Kvadratno prileganje teže, w, za višino, h, je w = f (h) = 1160 -15,5_h + 0,054_h ^ 2. Preostali del je (v kg): [2,38, 7,65, 1,25, 5,60, 3,40]. Vsota ostankov je 15,5 kg.
Najenostavnejša vrsta regresije je linearna regresija, pri kateri je matematična funkcija ravna črta oblike y = m * x + b. V tem primeru je vsota ostankov 0 po definiciji.