Das allgemeine Regressionsmodell mit n Beobachtungen und k Explanatoren, von denen der erste ein konstanter Einheitsvektor ist, dessen Koeffizient der Regressionsabfang ist, ist
y = X β + e {\displaystyle y=X\beta +e}
wobei y ein n × 1-Vektor abhängiger Variablenbeobachtungen ist, jede Spalte der n × k-Matrix X ein Beobachtungsvektor für einen der k Explanatoren ist, β {\displaystyle \beta } ein k × 1-Vektor wahrer Koeffizienten ist, und e ist ein n× 1-Vektor der wahren zugrunde liegenden Fehler., Die ordinary-least-squares-Schätzer für β {\displaystyle \beta } ist
X β ^ = y ⟺ {\displaystyle X – {\hat {\beta }}=y\iff } X T X β ^ = X T y ⟺ {\displaystyle X^{\operatorname {T} }X – {\hat {\beta }}=X^{\operatorname {T} }y\iff } β ^ = ( X T X ) -1 X T y . {\displaystyle {\hat {\beta }}=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y.} RSS = e ^ T e ^ = ‖ e ^ ‖ 2 {\displaystyle \operatorname {RSS} ={\hat {e}}^{\operatorname {T} }{\hat {e}}=\|{\hat {e}}\|^{2}} ,
(entspricht dem Quadrat der norm der Residuen)., In voller Länge:
RSS = y T y − y T X ( X T X) 1 X T y = y T y = y T y {\displaystyle \operatorname {RSS} =y^{\operatorname {T} }y-y^{\operatorname {T} }X(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y=y^{\operatorname {T} }y=y^{\operatorname {T} }y} ,
wo H ist der Hut, der matrix, oder die Projektions-matrix in linear regression.