Ja datu kopā ir divi mainīgie, kas var būt saistīti, piemēram, indivīdu augstums un svars, regresijas analīzē atrod matemātisko funkciju, kas vislabāk tuvina attiecības. Atlikumu summa ir rādītājs tam, cik labu darbu funkcija veic.
Regresijas analīzē mēs izvēlamies vienu mainīgo par “skaidrojošo mainīgo”, kuru sauksim par x, un otru - par “atbildes mainīgo”, kuru sauksim par y. Regresijas analīze izveido funkciju y = f (x), kas vislabāk nosaka atbildes mainīgo no tā saistītā skaidrojošā mainīgā. Ja x [i] ir viens no paskaidrojošajiem mainīgajiem un y [i] ir tā reakcijas mainīgais, tad atlikusī ir kļūda vai starpība starp y [i] faktisko vērtību un prognozēto y [i] vērtību. Citiem vārdiem sakot, atlikums = y [i] - f (x [i]).
Datu kopa satur 5 cilvēku augstumu centimetros un svaru kilogramos: [(152,54), (165,65), (175,100), (170,80), (140, 45)]. Kvadrātiska svara w atbilstība augstumam, h ir w = f (h) = 1160 -15,5_h + 0,054_h ^ 2. Atlikumi ir (kg): [2,38, 7,65, 1,25, 5,60, 3,40]. Atlikumu summa ir 15,5 kg.
Vienkāršākais regresijas veids ir lineārā regresija, kurā matemātiskā funkcija ir taisna līnija formā y = m * x + b. Šajā gadījumā atlikumu summa pēc definīcijas ir 0.