Denne artikel viser en geometrisk og intuitiv forklaring af covarians matrix, og den måde den beskriver form af et data sæt. Vi vil beskrive det geometriske forhold mellem kovariansmatri theen med brug af lineære transformationer og egenkomposition.
introduktion
før vi kommer i gang, skal vi tage et hurtigt kig på forskellen mellem kovarians og varians., Variansen måler variation af en enkelt stokastisk variabel (som højden af en person i en befolkning), der henviser til, at kovarians er et mål for, hvor meget to stokastiske variable varierer sammen, (som højden af en person, og vægten af en person i en befolkning). Formlen for variansen er givet ved
$$
\sigma^2_x = \frac{1}{n-1} \sum^{n}_{i=1}(x_i – \bar{x})^2 \\
$$
$$
\sigma(x, y) = \frac{1}{n-1} \sum^{n}_{i=1}{(x_i-\bar{x})(y_i-\bar{y})}
$$
med, n-prøver., Variansen \(\sigma_ 2^2\) af en tilfældig variabel \(\ \) kan også udtrykkes som kovariansen med sig selv af \(\sigma (,,\)\).
Covariance Matrix
$$
C = \frac{1}{n-1} \sum^{n}_{i=1}{(X_i-\bar{X})(X_i-\bar{X})^T}
$$
I denne artikel, vil vi fokusere på de to-dimensionelle tilfælde, men det kan nemt generaliseres til flere dimensionelle data.,\sigma(x, y), \\
\sigma(y, x) & \sigma(y, y) \end{array} \right)
$$
Dette tilfælde ville betyde, at \(x\) og \(y\) er uafhængige (eller ukorrelerede) og kovarians matrix \C\) er
$$
C = \left( \begin{array}{ccc}
\sigma_x^2 & 0 \\
0 & \sigma_y^2 \end{array} \right)
$$
Vi kan tjekke dette ved beregning af kovarians matrix
Som approximatelly giver os vores forventede covariance matrix med forskelle \(\sigma_x^2 = \sigma_y^2 = 1\).,
lineære transformationer af datasættet
Dernæst vil vi se på, hvordan transformationer påvirker vores data og covariansmatri theen \(C\). Vi vil omdanne vores data med følgende skaleringsmatri..,y)^2 \end{array} \right)
$$
Nu vil vi anvende en lineær transformation i form af en transformation matrix \(T\) til de data sæt, der består af en to-dimensional rotation matrix \R\) og den tidligere skalering matrix \(S\) som følger
$$T = RS$$
hvor rotation matrix \R\) er givet ved
$$
R = \left( \begin{array}{ccc}
cos(\theta) & -sin(\theta) \\
sin(\theta) & cos(\theta) \end{array} \right)
$$
, hvor \(\theta\) er den rotation vinkel., De transformerede data beregnes derefter ved \(Y = T.\) eller \(Y = RS.\).
Dette fører til spørgsmålet om, hvordan nedbrydes kovarians matrix \C\) i en rotation matrix \R\), og en skalering matrix \(S\).
Eigen Nedbrydning af Kovarians Matrix
Eigen Nedbrydning er en forbindelse mellem en lineær transformation og kovarians matrix. En egenvektor er en vektor, hvis retning forbliver uændret, når en lineær transformation påføres den., Det kan udtrykkes som
$$ Av=\lambda v $$
$$ CV = VL $$
hvor kovarians matrix kan repræsenteres som
$$ C = VH^{-1} $$
der kan også være opnået ved Singular Værdi Dekomposition. Egenvektorerne er enhedsvektorer, der repræsenterer retningen for den største varians af dataene, mens egenværdierne repræsenterer størrelsen af denne varians i de tilsvarende retninger. Dette betyder \(v\) repræsenterer en rotationsmatri.og \(\S .rt{L}\) repræsenterer en skaleringsmatri.., Fra denne ligning, kan vi repræsentere kovarians matrix \C\) som
$$ C = RSSR^{-1} $$
hvor rotation matrix \(R=V\) og skalering matrix \S=\sqrt{L}\). Fra tidligere lineær transformation \(T=RS\) kan vi udlede
$$ C = RSSR^{-1} = TT^T $$
$$ T = V – \sqrt{L} $$
En interessant brug af kovarians matrix er i Mahalanobis afstand, der er anvendt ved måling af multivariate afstande med kovarians., Det sker ved at beregne den ukorrelerede afstanden mellem et punkt \(x\) til en multivariat normalfordeling med følgende formel
$$ D_M(x) = \sqrt{(x – \mu)^TC^{-1}(x – \mu))} $$
, hvor \(\mu\) er middelværdien, og \C\) er kovarians af den multivariate normalfordeling (sættet af punkter antages at være normal fordelt). En afledning af Mahalanobis-afstanden ved brug af Cholesky-nedbrydningen findes i denne artikel.,
Konklusion
I denne artikel så vi forholdet af kovarians matrix med en lineær transformation, som er en vigtig byggesten for forståelse og brug af PARTNERSKABS-og samarbejdsaftalen, SVD, Bayes Klassificeringen, det Mahalanobis afstand og andre emner i statistikker og mønstergenkendelse. Jeg fandt, at kovariansmatri theen var en nyttig hjørnesten i forståelsen af de mange begreber og metoder i mønstergenkendelse og statistik.
mange af Matri identitiesidentiteterne findes i Matri identities-kogebogen., Forholdet mellem SVD, PCA og covariance Matri.er elegant vist i dette spørgsmål.