जब डेटा के एक सेट में दो चर होते हैं जो संबंधित हो सकते हैं, जैसे व्यक्तियों की ऊंचाई और वजन, प्रतिगमन विश्लेषण एक गणितीय फ़ंक्शन ढूंढता है जो रिश्ते का सबसे अच्छा अनुमान लगाता है। अवशिष्टों का योग इस बात का माप है कि फ़ंक्शन कितना अच्छा काम करता है।
प्रतिगमन विश्लेषण में, हम एक चर को "व्याख्यात्मक चर" के रूप में चुनते हैं, जिसे हम x कहेंगे, और दूसरा "प्रतिक्रिया चर" होगा जिसे हम y कहेंगे। रिग्रेशन विश्लेषण फ़ंक्शन y = f (x) बनाता है जो इसके संबंधित व्याख्यात्मक चर से प्रतिक्रिया चर की सबसे अच्छी भविष्यवाणी करता है। यदि x[i] व्याख्यात्मक चरों में से एक है, और y[i] इसका प्रतिक्रिया चर है, तो अवशिष्ट त्रुटि है, या y[i] के वास्तविक मूल्य और y[i] के अनुमानित मूल्य के बीच अंतर है। दूसरे शब्दों में, अवशिष्ट = y[i] - f (x[i])।
डेटा के एक सेट में सेंटीमीटर में ऊंचाई और 5 लोगों के किलोग्राम में वजन होता है: [(152,54), (165,65), (175,100), (170,80), (140, 45)]। वजन का एक द्विघात फिट, w, ऊंचाई, h के लिए, w = f (h) = 1160 -15.5_h + 0.054_h^2 है। अवशेष हैं (किलो में): [२.३८, ७.६५, १.२५, ५.६०, ३.४०]। अवशिष्टों का योग 15.5 किग्रा है।
प्रतिगमन का सबसे सरल प्रकार रैखिक प्रतिगमन है, जिसमें गणितीय कार्य y = m*x + b के रूप की एक सीधी रेखा है। इस मामले में, अवशिष्टों का योग परिभाषा के अनुसार 0 है।