Ez a cikk a kovarianciamátrix geometriai és intuitív magyarázatát mutatja be, valamint azt, hogy hogyan írja le az adathalmaz alakját. Leírjuk a kovarianciamátrix geometriai összefüggését lineáris transzformációk és eigendekompozíció alkalmazásával.
Bevezetés
mielőtt elkezdenénk, gyorsan megnézzük a kovariancia és a variancia közötti különbséget., Variancia méri a variáció egy véletlenszerű változó (mint a magassága egy személy egy populációban), míg kovariancia egy intézkedés, hogy mennyi két véletlen változók együtt változnak (mint a magassága egy személy és a súlya egy személy egy populációban). A variancia képletét
$
\sigma^2_x = \frac{1}{n-1} \sum^{n}_{i=1}(x_i – \bar{x})^2 \
$
$
\sigma(x, y) = \frac{1}{n-1} \sum^{n}_{i=1}{(x_i-\bar{x})(y_i-\Bar{y})}
$
n mintákkal., A \(x\) véletlenszerű változó\ (\sigma_x^2\) varianciája is kifejezhető, mint a \(\sigma(x, x)\) kovariancia.
Covariance Matrix
$
C = \frac{1}{n-1} \ sum^{n} _ {i=1} {(X_i – \ bar{X}) (X_i-\bar{X})^t}
$
ebben a cikkben a kétdimenziós esetre összpontosítunk, de könnyen általánosítható több dimenziós adatra.,\sigma(x, y) \\
\sigma(y, x) & \sigma(y, y) \end{array} \right)
$$
Ebben az esetben azt jelentené, hogy a \(x\), valamint a \(i\) független (vagy szabálytalan alakzat) a covariance mátrix \(C -\) az
$$
C = \left( \begin{array}{ccc}
\sigma_x^2 & 0 \\
0 & \sigma_y^2 \end{array} \right)
$$
megnézhetjük ez a számítása covariance mátrix
Ami approximatelly ad a várható covariance mátrix a szórások \(\sigma_x^2 = \sigma_y^2 = 1\).,
az adatkészlet lineáris transzformációi
ezután megvizsgáljuk, hogy az átalakítások hogyan befolyásolják adatainkat és a kovariancia mátrixot \(C\). Adatainkat a következő méretezési mátrixmal alakítjuk át.,y)^2 \end{array} \right)
$$
Most fogjuk alkalmazni egy lineáris transzformáció formájában transzformációs mátrix \(T\) az adathalmaz, amely áll egy két dimenziós rotációs mátrix \(R\), valamint a korábbi méretezési mátrix \(S\) a következőképpen
$$T = RS$$
hol a rotációs mátrix \(R\) az adott
$$
R = \left( \begin{array}{ccc}
cos(\theta) & -sin(\theta) \\
sin(\theta) & cos(\theta) \end{array} \right)
$$
amennyiben \(\theta\) a forgatási szög., A transzformált adatokat ezután \(Y = TX\) vagy \(Y = RSX\) számítja ki.
Ez ahhoz a kérdéshez vezet, hogy hogyan lehet a kovariancia mátrixot \(C\) rotációs mátrixba \(R\) és \(s\) skálázási mátrixba bontani.
A Kovarianciamátrix Eigen bomlása
az Eigen bomlás egy kapcsolat a lineáris transzformáció és a kovarianciamátrix között. Az eigenvektor olyan vektor, amelynek iránya változatlan marad, amikor lineáris transzformációt alkalmaznak rá., Ez lehet kifejezni, mint
$ av= \ lambda v $
$ CV = VL $
ahol a kovariancia mátrix lehet ábrázolni, mint
$$ c = VLV^{-1} $
amely szintén kapott egyedi érték bomlás. Az eigenvektorok az adatok legnagyobb varianciájának irányát reprezentáló egységvektorok, míg az eigenértékek a variancia nagyságát képviselik a megfelelő irányokban. Ez azt jelenti, hogy\ (V\) egy forgási mátrixot jelent, a \(\sqrt{L}\) pedig egy méretezési mátrixot., Ebből az egyenletből a kovarianciamátrix \(C\) – t
$ c = rssr^{-1}$
– ként ábrázolhatjuk, ahol a forgási mátrix \(R=V\) és a skálázási mátrix \(S=\sqrt{l}\). Az előző lineáris transzformáció \(t=RS\) tudjuk levezetni
$ c = RSSR^{-1} = TT^t$
$t = V\sqrt{L} $
a kovarianciamátrix érdekes használata a Mahalanobis távolságban van, amelyet többváltozós távolságok KOVARIANCIÁVAL történő mérésekor használnak., Ez úgy történik, hogy a \ (x\) pont és a többváltozós normál eloszlás közötti korrelálatlan távolságot kiszámítjuk a következő képlettel:
$ d_m (x) = \sqrt{(x – \mu)^TC^{-1}(x – \mu))} $
ahol \(\mu\) az átlagos és\ (C\) a többváltozós normál eloszlás kovarianciája (a normálisnak vélt pontok halmaza). A Mahalanobisz-távolság levezetése a Cholesky-bomlás használatával ebben a cikkben található.,
Következtetés
ebben A cikkben láttuk, hogy a kapcsolat a covariance mátrix, lineáris transzformáció, amely egy fontos építőköve, a megértés segítségével PCA, SVD, a Bayes Osztályozó, a Módszer távolság, valamint egyéb témákról, a statisztikai minta felismerés. A kovarianciamátrix hasznos sarokköve volt a minták felismerésében és a statisztikákban használt sok fogalom és módszer megértésében.
a mátrix identitások közül sok megtalálható a Mátrix szakácskönyvben., Az SVD, a PCA és a kovarianciamátrix közötti kapcsolat elegánsan megmutatkozik ebben a kérdésben.