เมื่อชุดข้อมูลประกอบด้วยตัวแปรสองตัวที่อาจเกี่ยวข้องกัน เช่น ส่วนสูงและน้ำหนักของบุคคล การวิเคราะห์การถดถอยจะค้นหาฟังก์ชันทางคณิตศาสตร์ที่ใกล้เคียงกับความสัมพันธ์ได้ดีที่สุด ผลรวมของส่วนที่เหลือเป็นตัววัดว่าฟังก์ชันทำงานได้ดีเพียงใด
ในการวิเคราะห์การถดถอย เราเลือกตัวแปรหนึ่งตัวให้เป็น "ตัวแปรอธิบาย" ซึ่งเราจะเรียกว่า x และอีกตัวหนึ่งเป็น "ตัวแปรตอบสนอง" ซึ่งเราจะเรียกว่า y การวิเคราะห์การถดถอยสร้างฟังก์ชัน y = f (x) ที่ทำนายตัวแปรการตอบสนองได้ดีที่สุดจากตัวแปรอธิบายที่เกี่ยวข้อง หาก x[i] เป็นหนึ่งในตัวแปรอธิบาย และ y[i] ตัวแปรตอบสนอง ค่าคงเหลือจะเป็นข้อผิดพลาด หรือความแตกต่างระหว่างค่าจริงของ y[i] และค่าที่คาดการณ์ไว้ของ y[i] กล่าวอีกนัยหนึ่ง ตกค้าง = y[i] - f (x[i])
ชุดข้อมูลประกอบด้วยความสูงเป็นเซนติเมตรและน้ำหนักเป็นกิโลกรัม 5 คน: [(152,54), (165,65), (175,100), (170,80), (140, 45)] ความพอดีกำลังสองของน้ำหนัก w สำหรับส่วนสูง h คือ w = f (h) = 1160 -15.5_h + 0.054_h^2 ที่เหลือคือ (กก.): [2.38, 7.65, 1.25, 5.60, 3.40] ยอดคงเหลือ 15.5 กก.
การถดถอยแบบที่ง่ายที่สุดคือการถดถอยเชิงเส้น ซึ่งฟังก์ชันทางคณิตศาสตร์เป็นเส้นตรงของรูปแบบ y = m*x + b ในกรณีนี้ ผลรวมของคงเหลือเป็น 0 ตามคำจำกัดความ