Când un set de date conține două variabile care pot fi legate, cum ar fi înălțimile și greutățile indivizilor, analiza de regresie găsește o funcție matematică care se apropie cel mai bine de relație. Suma reziduurilor este o măsură a cât de bună este funcția.
În analiza de regresie, alegem o variabilă pentru a fi „variabila explicativă”, pe care o vom numi x, iar cealaltă pentru a fi „variabila de răspuns” pe care o vom numi y. Analiza de regresie creează funcția y = f (x) care prezice cel mai bine variabila de răspuns din variabila explicativă asociată. Dacă x [i] este una dintre variabilele explicative și y [i] variabila sa de răspuns, atunci rezidualul este eroarea sau diferența dintre valoarea reală a lui y [i] și valoarea prezisă a lui y [i]. Cu alte cuvinte, rezidual = y [i] - f (x [i]).
Un set de date conține înălțimile în centimetri și greutățile în kilograme de 5 persoane: [(152,54), (165,65), (175,100), (170,80), (140, 45)]. O potrivire pătratică a greutății, w, pentru înălțime, h, este w = f (h) = 1160 -15,5_h + 0,054_h ^ 2. Reziduurile sunt (în kg): [2,38, 7,65, 1,25, 5,60, 3,40]. Suma reziduurilor este de 15,5 kg.
Cel mai simplu tip de regresie este regresia liniară, în care funcția matematică este o linie dreaptă de forma y = m * x + b. În acest caz, suma reziduurilor este 0 prin definiție.