Bir veri kümesi, bireylerin boyları ve ağırlıkları gibi ilişkili olabilecek iki değişken içerdiğinde, regresyon analizi, ilişkiyi en iyi şekilde tahmin eden bir matematiksel fonksiyon bulur. Artıkların toplamı, işlevin bir işi ne kadar iyi yaptığının bir ölçüsüdür.
Regresyon analizinde, bir değişkeni x diyeceğimiz “açıklayıcı değişken”, diğerini ise y diyeceğimiz “yanıt değişkeni” seçiyoruz. Regresyon analizi, ilgili açıklayıcı değişkenden yanıt değişkenini en iyi tahmin eden y = f (x) işlevini yaratır. Eğer x[i] açıklayıcı değişkenlerden biri ve y[i] bunun yanıt değişkeniyse, kalan hata veya y[i]'nin gerçek değeri ile y[i]'nin tahmin edilen değeri arasındaki farktır. Başka bir deyişle, artık = y[i] - f (x[i]).
Bir dizi veri, 5 kişinin santimetre cinsinden boylarını ve kilogram cinsinden ağırlıklarını içerir: [(152,54), (165,65), (175,100), (170,80), (140, 45)]. Ağırlık, w, yükseklik, h için ikinci dereceden bir uyum, w = f (h) = 1160 -15,5_h + 0,054_h^2'dir. Kalıntılar (kg olarak): [2.38, 7.65, 1.25, 5.60, 3.40]. Kalıntıların toplamı 15.5 kg'dır.
En basit regresyon türü, matematiksel fonksiyonun y = m*x + b biçiminde düz bir çizgi olduğu lineer regresyondur. Bu durumda, artıkların toplamı tanım gereği 0'dır.