Keď množina údajov obsahuje dve premenné, ktoré sa môžu týkať, napríklad výšky a váhy jednotlivcov, pomocou regresnej analýzy sa nájde matematická funkcia, ktorá najlepšie aproximuje vzťah. Súčet zvyškov je mierou toho, ako dobrú prácu funkcia robí.
V regresnej analýze zvolíme jednu premennú ako „vysvetľujúcu premennú“, ktorú budeme nazývať x, a druhú ako „premennú odpovede“, ktorú budeme nazývať y. Regresná analýza vytvorí funkciu y = f (x), ktorá najlepšie predpovedá reakčnú premennú z jej pridruženej vysvetľujúcej premennej. Ak je x [i] jednou z vysvetľujúcich premenných a y [i] je jeho premenná odozvy, potom zvyškom je chyba alebo rozdiel medzi skutočnou hodnotou y [i] a predikovanou hodnotou y [i]. Inými slovami, zvyškové = y [i] - f (x [i]).
Sada údajov obsahuje výšky v centimetroch a hmotnosti v kilogramoch 5 osôb: [(152,54), (165,65), (175,100), (170,80), (140, 45)]. Kvadratické preloženie hmotnosti, w, na výšku, h, je w = f (h) = 1160 -15,5_h + 0,054_h ^ 2. Zvyšky sú (v kg): [2,38, 7,65, 1,25, 5,60, 3,40]. Súčet zvyškov je 15,5 kg.
Najjednoduchším druhom regresie je lineárna regresia, v ktorej je matematickou funkciou priamka v tvare y = m * x + b. V tomto prípade je súčet zvyškov 0 podľa definície.