Ha egy adatsor két változót tartalmaz, amelyek kapcsolatban lehetnek egymással, például az egyének magasságát és súlyát, a regresszióanalízis olyan matematikai függvényt talál, amely a legjobban közelíti a kapcsolatot. A maradványok összege annak mértéke, hogy a funkció milyen jó munkát végez.
A regresszióanalízis során az egyik változót választjuk a „magyarázó változónak”, amelyet x-nek hívunk, a másikat pedig a „válaszváltozónak”, amelyet y-nek hívunk. A regresszióanalízis létrehozza az y = f (x) függvényt, amely a legjobban megjósolja a válaszváltozót a hozzá tartozó magyarázó változóból. Ha x [i] az egyik magyarázó változó, és y [i] válaszváltozója, akkor a maradék az y [i] tényleges értéke és az y [i] előre jelzett értéke közötti hiba vagy különbség. Más szavakkal, maradék = y [i] - f (x [i]).
Adatsor tartalmazza a magasságot centiméterben és a súlyt kilogrammban, 5 fő esetén: [(152,54), (165,65), (175,100), (170,80), (140, 45)]. A súly kvadratikus illeszkedése a h magassághoz w = f (h) = 1160 -15,5_h + 0,054_h ^ 2. A maradék (kg-ban kifejezve): [2,38, 7,65, 1,25, 5,60, 3,40]. A maradványok összege 15,5 kg.
A regresszió legegyszerűbb fajtája a lineáris regresszió, amelyben a matematikai függvény az y = m * x + b alakú egyenes vonal. Ebben az esetben a maradványok összege definíció szerint 0.