Όταν ένα σύνολο δεδομένων περιέχει δύο μεταβλητές που μπορεί να σχετίζονται, όπως το ύψος και το βάρος των ατόμων, η ανάλυση παλινδρόμησης βρίσκει μια μαθηματική συνάρτηση που προσεγγίζει καλύτερα τη σχέση. Το άθροισμα των υπολειμμάτων είναι ένα μέτρο του πόσο καλή δουλειά κάνει η συνάρτηση.
Στην ανάλυση παλινδρόμησης, επιλέγουμε μια μεταβλητή να είναι η «επεξηγηματική μεταβλητή», την οποία θα ονομάσουμε x και η άλλη θα είναι η «μεταβλητή απόκρισης» που θα ονομάσουμε y. Η ανάλυση παλινδρόμησης δημιουργεί τη συνάρτηση y = f (x) που προβλέπει καλύτερα τη μεταβλητή απόκρισης από τη σχετική επεξηγηματική μεταβλητή. Εάν το x [i] είναι μία από τις επεξηγηματικές μεταβλητές, και y [i] η μεταβλητή απόκρισης, τότε το υπόλοιπο είναι το σφάλμα ή η διαφορά μεταξύ της πραγματικής τιμής του y [i] και της προβλεπόμενης τιμής του y [i]. Με άλλα λόγια, υπολειπόμενο = y [i] - f (x [i]).
Ένα σύνολο δεδομένων περιέχει τα ύψη σε εκατοστά και βάρη σε χιλιόγραμμα 5 ατόμων: [(152,54), (165,65), (175,100), (170,80), (140, 45)]. Μια τετραγωνική εφαρμογή βάρους, w, για ύψος, h, είναι w = f (h) = 1160 -15,5_h + 0,054_h ^ 2. Τα υπολείμματα είναι (σε kg): [2,38, 7,65, 1,25, 5,60, 3,40]. Το άθροισμα των υπολειμμάτων είναι 15,5 kg.
Το απλούστερο είδος παλινδρόμησης είναι η γραμμική παλινδρόμηση, στην οποία η μαθηματική συνάρτηση είναι μια ευθεία γραμμή της μορφής y = m * x + b. Σε αυτήν την περίπτωση, το άθροισμα των υπολειμμάτων είναι εξ ορισμού 0.