Kada skup podataka sadrži dvije varijable koje se mogu povezati, kao što su visine i težine pojedinaca, regresijska analiza pronalazi matematičku funkciju koja najbolje približava odnos. Zbroj ostataka mjeri koliko dobar posao funkcija radi.
U regresijskoj analizi odabiremo jednu varijablu koja će biti „objašnjavajuća varijabla“, koju ćemo nazvati x, a drugu koja će biti „varijabla odgovora“ koju ćemo nazvati y. Regresijska analiza stvara funkciju y = f (x) koja najbolje predviđa varijablu odgovora iz pridružene joj objašnjene varijable. Ako je x [i] jedna od objašnjavajućih varijabli, a y [i] njegova varijabla odgovora, tada je rezidual pogreška ili razlika između stvarne vrijednosti y [i] i predviđene vrijednosti y [i]. Drugim riječima, rezidual = y [i] - f (x [i]).
Skup podataka sadrži visine u centimetrima i težine u kilogramima 5 osoba: [(152,54), (165,65), (175,100), (170,80), (140, 45)]. Kvadratni nalet težine, w, za visinu, h, je w = f (h) = 1160 -15,5_h + 0,054_h ^ 2. Ostaci su (u kg): [2,38, 7,65, 1,25, 5,60, 3,40]. Zbroj ostataka je 15,5 kg.
Najjednostavnija vrsta regresije je linearna regresija, u kojoj je matematička funkcija ravna crta oblika y = m * x + b. U ovom je slučaju zbroj ostataka 0 prema definiciji.