Wanneer een set gegevens twee variabelen bevat die verband kunnen houden, zoals de lengte en het gewicht van individuen, vindt regressieanalyse een wiskundige functie die de relatie het beste benadert. De som van de residuen is een maat voor hoe goed een functie het doet.
Bij regressieanalyse kiezen we één variabele als de "verklarende variabele", die we x zullen noemen, en de andere als de "responsvariabele" die we y zullen noemen. Regressieanalyse creëert de functie y = f (x) die de responsvariabele het beste voorspelt op basis van de bijbehorende verklarende variabele. Als x[i] een van de verklarende variabelen is, en y[i] de responsvariabele, dan is het residu de fout, of het verschil tussen de werkelijke waarde van y[i] en de voorspelde waarde van y[i]. Met andere woorden, residu = y[i] - f (x[i]).
Een set gegevens bevat de lengtes in centimeters en gewichten in kilogrammen van 5 personen: [(152,54), (165,65), (175,100), (170,80), (140, 45)]. Een kwadratische fit van gewicht, w, voor lengte, h, is w = f (h) = 1160 -15.5_h + 0.054_h^2. De residuen zijn (in kg): [2,38, 7,65, 1,25, 5,60, 3,40]. De som van de reststoffen is 15,5 kg.
De eenvoudigste soort regressie is lineaire regressie, waarbij de wiskundige functie een rechte lijn is van de vorm y = m*x + b. In dit geval is de som van de residuen per definitie 0.