Gdy zestaw danych zawiera dwie zmienne, które mogą być powiązane, takie jak wzrost i waga osób, analiza regresji znajduje funkcję matematyczną, która najlepiej przybliża tę zależność. Suma reszt jest miarą tego, jak dobrą pracę wykonuje funkcja.
W analizie regresji wybieramy jedną zmienną jako „zmienną objaśniającą”, którą nazwiemy x, a drugą jako „zmienną odpowiedzi”, którą nazwiemy y. Analiza regresji tworzy funkcję y = f (x), która najlepiej przewiduje zmienną odpowiedzi na podstawie powiązanej zmiennej objaśniającej. Jeśli x[i] jest jedną ze zmiennych objaśniających, a y[i] jej zmienną odpowiedzi, to reszta jest błędem, czyli różnicą między rzeczywistą wartością y[i] a przewidywaną wartością y[i]. Innymi słowy, reszta = y[i] - f (x[i]).
Zbiór danych zawiera wzrost w centymetrach i wagę w kilogramach 5 osób: [(152,54), (165,65), (175,100), (170,80), (140, 45)]. Kwadratowe dopasowanie wagi, w, dla wzrostu, h, to w = f (h) = 1160 -15,5_h + 0,054_h^2. Pozostałości to (w kg): [2,38, 7,65, 1,25, 5,60, 3,40]. Suma pozostałości to 15,5 kg.
Najprostszym rodzajem regresji jest regresja liniowa, w której funkcją matematyczną jest prosta o postaci y = m*x + b. W tym przypadku suma reszt wynosi z definicji 0.