När en uppsättning data innehåller två variabler som kan relatera, såsom individers höjder och vikter, hittar regressionsanalys en matematisk funktion som bäst approximerar förhållandet. Summan av rester är ett mått på hur bra ett jobb funktionen gör.
I regressionsanalys väljer vi en variabel för att vara den "förklarande variabeln", som vi kommer att kalla x, och den andra för att vara den "svarsvariabeln" som vi kommer att kalla y. Regressionsanalys skapar funktionen y = f (x) som bäst förutsäger svarsvariabeln från dess associerade förklarande variabel. Om x [i] är en av de förklarande variablerna, och y [i] dess svarsvariabel, är restfelet eller skillnaden mellan det verkliga värdet av y [i] och det förutsagda värdet av y [i]. Med andra ord, rest = y [i] - f (x [i]).
En uppsättning data innehåller höjden i centimeter och vikter i kilo på 5 personer: [(152,54), (165,65), (175,100), (170,80), (140, 45)]. En kvadratisk viktanpassning, w, för höjd, h, är w = f (h) = 1160-15,5_h + 0,054_h ^ 2. Resterna är (i kg): [2,38, 7,65, 1,25, 5,60, 3,40]. Summan av rester är 15,5 kg.
Den enklaste typen av regression är linjär regression, där den matematiska funktionen är en rak linje med formen y = m * x + b. I detta fall är summan av rester per definition 0.