Il generale modello di regressione con n osservazioni e k explanators, la prima delle quali è una costante unità di vettore il cui coefficiente di regressione intercettare, è
y = X β + e {\displaystyle y=X\beta +e}
dove y è un n × 1 vettore della variabile dipendente osservazioni, ogni colonna di n × k la matrice X è un vettore di osservazioni su uno dei k explanators, β {\displaystyle \beta } ‘ e una k × 1 vettore di vero coefficienti, ed e è n× 1 vettore dei veri errori sottostanti., I minimi quadrati ordinari stimatore per β {\displaystyle \beta } è
X β ^ = y ⟺ {\displaystyle X{\hat {\beta }}=y\iff } X T X β ^ = X T y ⟺ {\displaystyle X^{\operatorname {T} }X{\hat {\beta }}=X^{\operatorname {T} }y\iff } β ^ = ( X T X ) − 1 X T y . {\displaystyle {\hat {\beta }}=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y.} RSS = e ^ T ^ = ‖ e ^ ‖ 2 {\displaystyle \operatorname {RSS} ={\hat {e}}^{\operatorname {T} }{\hat {e}}=\|{\hat {e}}\|^{2}} ,
(equivalente al quadrato della norma di residui)., In piena:
= RSS y T y y T X ( X T X ) − 1 X T y = y T y = y T y {\displaystyle \operatorname {RSS} =y^{\operatorname {T} }y-y^{\operatorname {T} }X(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y=y^{\operatorname {T} }y=y^{\operatorname {T} }y}
dove H è la hat matrix, o la matrice di proiezione nella regressione lineare.