Wenn ein Datensatz zwei Variablen enthält, die in Beziehung stehen können, z. B. Körpergröße und Gewicht von Personen, findet die Regressionsanalyse eine mathematische Funktion, die die Beziehung am besten annähert. Die Summe der Residuen ist ein Maß dafür, wie gut die Funktion funktioniert.
In der Regressionsanalyse wählen wir eine Variable als „erklärende Variable“, die wir x nennen, und die andere als „Antwortvariable“, die wir y nennen. Die Regressionsanalyse erstellt die Funktion y = f (x), die die Antwortvariable am besten aus ihrer zugehörigen erklärenden Variablen vorhersagt. Wenn x[i] eine der erklärenden Variablen und y[i] ihre Antwortvariable ist, dann ist das Residuum der Fehler oder die Differenz zwischen dem tatsächlichen Wert von y[i] und dem vorhergesagten Wert von y[i]. Mit anderen Worten, Rest = y[i] – f (x[i]).
Ein Datensatz enthält die Körpergröße in Zentimetern und das Gewicht in Kilogramm von 5 Personen: [(152,54), (165,65), (175,100), (170,80), (140, 45)]. Eine quadratische Gewichtsanpassung w für die Körpergröße h ist w = f (h) = 1160 -15,5_h + 0,054_h^2. Die Residuen sind (in kg): [2,38, 7,65, 1,25, 5,60, 3,40]. Die Restsumme beträgt 15,5 kg.
Die einfachste Art der Regression ist die lineare Regression, bei der die mathematische Funktion eine Gerade der Form y = m*x + b ist. In diesem Fall ist die Summe der Residuen per Definition 0.