De algemene regressie-model met n waarnemingen en k explanators, de eerste is een constante eenheid vector waarvan de coëfficiënt van de regressie intercept, is
y = X β + e {\displaystyle y=X\beta +e}
waar y een n × 1 vector van de afhankelijke variabele waarnemingen, elke kolom van de n × k matrix X is een vector van waarnemingen op een van de k explanators, β {\displaystyle \beta } is een k × 1 vector van de ware coëfficiënten en e is een n× 1 vector van de werkelijke onderliggende fouten., De gewone kleinste kwadraten schatter voor β {\displaystyle \ beta } is
X β ^ = y ⟺ {\displaystyle X {\hat {\beta }} = y\iff } X T X β ^ = X t y ⟺ {\displaystyle X^{\operatorname {T} }X {\hat {\beta }} = x^{\operatorname {T} }y \ iff } β ^ = ( X T X ) − 1 X T y . {\displaystyle {\hat {\beta }} =(x^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y.} RSS = e ^ T E ^ = ‖ E ^ 2 2 {\displaystyle \ operatorname {RSS} = {\hat {e}}^{\operatorname {T} } {\hat {e}}=\|{\hat {e}}}}\|^{2}} ,
(equivalent aan het kwadraat van de norm voor reststoffen)., Volledig:
RSS = y T Y − y T X ( X T X ) − 1 X T y = y T y = y T y {\displaystyle \operatorname {RSS} =y^{\operatorname {T} }y-y^{\operatorname {T} }X(x^{\operatorname {t} }X)^{-1}X^{\operatorname {t} }y=y^{\operatorname {t} }y=y^{\operatorname {T} }Y} ,
waarbij H De Hat Matrix is, of de projectie matrix in lineaire regressie.