Når et datasett inneholder to variabler som kan relateres, for eksempel individers høyder og vekter, finner regresjonsanalyse en matematisk funksjon som best tilnærmer forholdet. Summen av rester er et mål på hvor god jobb funksjonen gjør.
I regresjonsanalyse velger vi en variabel som "forklaringsvariabel", som vi vil kalle x, og den andre skal være "responsvariabel" som vi vil kalle y. Regresjonsanalyse skaper funksjonen y = f (x) som best forutsier responsvariabelen fra dens tilknyttede forklaringsvariabel. Hvis x [i] er en av de forklarende variablene, og y [i] dens responsvariabel, så er den gjenværende feilen, eller forskjellen mellom den faktiske verdien av y [i] og den forventede verdien av y [i]. Med andre ord, rest = y [i] - f (x [i]).
Et datasett inneholder høydene i centimeter og vekter i kilo på 5 personer: [(152,54), (165,65), (175,100), (170,80), (140, 45)]. En kvadratisk vektanpassing, w, for høyde, h, er w = f (h) = 1160-15,5_h + 0,054_h ^ 2. Restene er (i kg): [2,38, 7,65, 1,25, 5,60, 3,40]. Summen av rester er 15,5 kg.
Den enkleste typen regresjon er lineær regresjon, der den matematiske funksjonen er en rett linje av formen y = m * x + b. I dette tilfellet er summen av reststoffer per definisjon 0.