Le modèle général de régression avec n observations et k explanateurs, dont le premier est un vecteur unitaire constant dont le coefficient est l’ordonnée à l’origine de la régression, est
y = X β + e {\displaystyle y=X\beta +e}
où y est un vecteur n × 1 d’observations variables dépendantes, chaque colonne de la matrice n × k X est un vecteur d’observations sur l’un des k explanateurs, β {\displaystyle \beta } est un vecteur k × 1 de coefficients vrais, et e est un vecteur n× 1 des vraies erreurs sous-jacentes., La méthode des moindres carrés ordinaires estimateur β {\displaystyle \beta } est
X β ^ = y ⟺ {\displaystyle X{\hat {\beta }}=y\iff } X T X β ^ = X T y ⟺ {\displaystyle X^{\operatorname {T} }X{\hat {\beta }}=X^{\operatorname {T} }y\iff } β ^ = ( X T X ) − 1 X T é . {\displaystyle {\hat {\beta }}=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y.} RSS = e ^ T e ^ = ğ e ^ ğ 2 {\displaystyle \operatorname {RSS} ={\hat {e}}^{\operatorname {T} }{\hat {e}}=\|{\hat {e}}\|^{2}} ,
(l’équivalent de la place de la norme des résidus)., Complète:
RSS = y T y − y T X ( X T X ) − 1 X T y = y T y = y T y {\displaystyle \operatorname {RSS} =y^{\operatorname {T} }y-y^{\operatorname {T} }X(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y=y^{\operatorname {T} }y=y^{\operatorname {T} }y} ,
où H est le chapeau de la matrice, ou de la matrice de projection dans la régression linéaire.