Tämä artikkeli on osoittaa geometrinen ja intuitiivinen selitys kovarianssimatriisi ja miten se kuvaa muodon tietojoukko. Kuvaillaan kovarianssimatriisin geometrista suhdetta lineaaristen muunnosten ja eigendecomposition käyttöön.
Johdanto
Ennen kuin aloitamme, meidän on vilkaista ero välinen kovarianssi ja varianssi., Varianssi mittaa vaihtelu yhden satunnaismuuttujan (kuten korkeus henkilö väestöstä), kun taas kovarianssi on mitata, kuinka paljon kaksi random muuttujat vaihtelevat yhdessä (kuten korkeus henkilö ja paino henkilö väestöstä). Kaava varianssi on annettu
$$
\sigma^2_x = \frac{1}{n-1} \sum^{n}_{i=1}(x_i – \bar{x})^2 \\
$$
$$
\sigma(x, y) = \frac{1}{n-1} \sum^{n}_{i=1}{(x_i-\bar{x})(y_i-\bar{y})}
$$
n näytteet., Satunnaismuuttujan \(x\) varianssi\ (\sigma_x^2\) voidaan ilmaista myös kovarianssina itsensä kanssa \(\sigma(x, x)\).
kovarianssimatriisi
$$
C = \frac{1}{n-1} \sum^{n}_{i=1}{(X_i-\bar{X})(X_i-\bar{X})^T}
$$
tässä artikkelissa, me keskitytään siihen, kaksiulotteinen tapauksessa mutta se voidaan helposti yleistää enemmän ulotteinen data.,\sigma(x, y) \\
\sigma(y, x) & \sigma(y, y) \end{array} \right)
$$
Tässä tapauksessa tarkoittaisi sitä, että \(x\) – ja \(y\) ovat riippumattomia (tai uncorrelated) ja kovarianssi matriisin \(C\) on
$$
C = \left( \begin{array}{ccc}
\sigma_x^2 & 0 \\
0 & \sigma_y^2 \end{array} \right)
$$
Voimme tarkistaa tämän laskemalla kovarianssi-matriisi
Joka approximatelly antaa meille odotettu kovarianssi matriisi, jossa varianssit \(\sigma_x^2 = \sigma_y^2 = 1\).,
datajoukon lineaariset muunnokset
seuraavaksi tarkastelemme, miten muunnokset vaikuttavat dataamme ja kovarianssimatriisiin \(C\). Muutamme tietomme seuraavalla skaalausmatriisilla.,y)^2 \end{array} \right)
$$
Nyt sovellamme lineaarinen muutos muodossa transformaatio matriisi \(T\) tietojen joukko, joka koostuu kaksi kolmiulotteinen kierto matriisi \(R\) ja edellisen skaalaus matriisi \(S\) seuraava
$$T = RS$$
jos kierto matriisi \(T\) on antanut
$$
R = \left( \begin{array}{ccc}
cos(\theta) & -sin(\theta) \\
sin(\theta) & cos(\theta) \end{array} \right)
$$
missä \(\theta\) on kiertokulma., Muunnetut tiedot lasketaan sitten \(Y = TX\) tai \(Y = RSX\).
Tämä johtaa kysymykseen, miten hajoavat kovarianssi matriisin \(C\) osaksi kierto matriisi \(R\) ja skaalaus matriisi \(S\).
Eigen Hajoaminen kovarianssimatriisi
Eigen Hajoaminen on yksi yhteys lineaarinen muutos ja kovarianssimatriisi. Eigenvektori on vektori, jonka suunta pysyy muuttumattomana, kun siihen kohdistetaan lineaarinen muunnos., Se voi olla ilmaistuna
$$ Av=\lambda v $$
$$ CV = VI $$
missä kovarianssimatriisi voidaan esittää
$$ C = VLV^{-1} $$
– joka voi olla myös saatu singulaariarvohajotelma. Sen ominaisvektorit ovat yksikkövektoreita, jotka edustavat suunnan suurin varianssi tiedot, kun ominaisarvot edustavat suuruus tämä varianssi vastaaviin suuntiin. Tämä tarkoittaa \(v\) edustaa pyörimismatriisia ja \(\sqrt{L}\) skaalausmatriisia., Tästä yhtälöstä, voi edustaa kovarianssi matriisin \(C\) kuin
$$ C = RSSR^{-1} $$
jos kierto matriisi \(R=V\) ja skaalaus matriisi \(S=\sqrt{L}\). Edellisestä lineaarinen transformaatio \(T=RS\) voimme saada
$$ C = RSSR^{-1} = TT^T $$
$$ T = V\sqrt{L} $$
mielenkiintoinen käytön kovarianssimatriisi on Mahalanobiksen etäisyys, jota käytetään mitattaessa monimuuttuja etäisyydet kanssa kovarianssi., Se, että laskemalla uncorrelated etäisyys piste \(x\) on monimuuttuja normaalijakaumaa seuraavalla kaavalla
$$ D_M(x) = \sqrt{(x – \mu)^TC^{-1}(x – \mu))} $$
missä \(\mu\) on keskiarvo ja \(C\) on kovarianssin monimuuttuja normaalijakaumaa (joukko pisteitä, oletetaan olevan normaali jaetaan). Tässä artikkelissa on johdettu Mahalanobis etäisyys Cholesky hajoamisen käytöstä.,
Johtopäätös
tässä artikkelissa näimme suhde kovarianssimatriisi lineaarinen muutos, joka on tärkeä rakennuspalikka ymmärtämään ja käyttämään PCA, SVD, Bayes-Luokittelija, Mahalanobiksen etäisyys, ja muita aiheita tilastot ja hahmontunnistus. Minusta kovarianssimatriisi oli hyödyllinen kulmakivi hahmontunnistuksen ja tilastojen monien käsitteiden ja menetelmien ymmärtämisessä.
monet matriisidentiteeteistä löytyvät matriisin keittokirjasta., SVD: n, PCA: n ja kovarianssimatriisin suhde näkyy tässä kysymyksessä tyylikkäästi.