Ez a cikk a kovarianciamátrix geometriai és intuitív magyarázatát mutatja be, valamint azt, hogy hogyan írja le az adathalmaz alakját. Leírjuk a kovarianciamátrix geometriai összefüggését lineáris transzformációk és eigendekompozíció alkalmazásával.

Bevezetés

mielőtt elkezdenénk, gyorsan megnézzük a kovariancia és a variancia közötti különbséget., Variancia méri a variáció egy véletlenszerű változó (mint a magassága egy személy egy populációban), míg kovariancia egy intézkedés, hogy mennyi két véletlen változók együtt változnak (mint a magassága egy személy és a súlya egy személy egy populációban). A variancia képletét

$
\sigma^2_x = \frac{1}{n-1} \sum^{n}_{i=1}(x_i – \bar{x})^2 \
$

$
\sigma(x, y) = \frac{1}{n-1} \sum^{n}_{i=1}{(x_i-\bar{x})(y_i-\Bar{y})}
$

n mintákkal., A \(x\) véletlenszerű változó\ (\sigma_x^2\) varianciája is kifejezhető, mint a \(\sigma(x, x)\) kovariancia.

Covariance Matrix

$
C = \frac{1}{n-1} \ sum^{n} _ {i=1} {(X_i – \ bar{X}) (X_i-\bar{X})^t}
$

ebben a cikkben a kétdimenziós esetre összpontosítunk, de könnyen általánosítható több dimenziós adatra.,\sigma(x, y) \\
\sigma(y, x) & \sigma(y, y) \end{array} \right)
$$

Ebben az esetben azt jelentené, hogy a \(x\), valamint a \(i\) független (vagy szabálytalan alakzat) a covariance mátrix \(C -\) az

$$
C = \left( \begin{array}{ccc}
\sigma_x^2 & 0 \\
0 & \sigma_y^2 \end{array} \right)
$$

megnézhetjük ez a számítása covariance mátrix

Ami approximatelly ad a várható covariance mátrix a szórások \(\sigma_x^2 = \sigma_y^2 = 1\).,

az adatkészlet lineáris transzformációi

ezután megvizsgáljuk, hogy az átalakítások hogyan befolyásolják adatainkat és a kovariancia mátrixot \(C\). Adatainkat a következő méretezési mátrixmal alakítjuk át.,y)^2 \end{array} \right)
$$

Most fogjuk alkalmazni egy lineáris transzformáció formájában transzformációs mátrix \(T\) az adathalmaz, amely áll egy két dimenziós rotációs mátrix \(R\), valamint a korábbi méretezési mátrix \(S\) a következőképpen

$$T = RS$$

hol a rotációs mátrix \(R\) az adott

$$
R = \left( \begin{array}{ccc}
cos(\theta) & -sin(\theta) \\
sin(\theta) & cos(\theta) \end{array} \right)
$$

amennyiben \(\theta\) a forgatási szög., A transzformált adatokat ezután \(Y = TX\) vagy \(Y = RSX\) számítja ki.

Ez ahhoz a kérdéshez vezet, hogy hogyan lehet a kovariancia mátrixot \(C\) rotációs mátrixba \(R\) és \(s\) skálázási mátrixba bontani.

A Kovarianciamátrix Eigen bomlása

az Eigen bomlás egy kapcsolat a lineáris transzformáció és a kovarianciamátrix között. Az eigenvektor olyan vektor, amelynek iránya változatlan marad, amikor lineáris transzformációt alkalmaznak rá., Ez lehet kifejezni, mint

$ av= \ lambda v $

$ CV = VL $

ahol a kovariancia mátrix lehet ábrázolni, mint

$$ c = VLV^{-1} $

amely szintén kapott egyedi érték bomlás. Az eigenvektorok az adatok legnagyobb varianciájának irányát reprezentáló egységvektorok, míg az eigenértékek a variancia nagyságát képviselik a megfelelő irányokban. Ez azt jelenti, hogy\ (V\) egy forgási mátrixot jelent, a \(\sqrt{L}\) pedig egy méretezési mátrixot., Ebből az egyenletből a kovarianciamátrix \(C\) – t

$ c = rssr^{-1}$

– ként ábrázolhatjuk, ahol a forgási mátrix \(R=V\) és a skálázási mátrix \(S=\sqrt{l}\). Az előző lineáris transzformáció \(t=RS\) tudjuk levezetni

$ c = RSSR^{-1} = TT^t$

$t = V\sqrt{L} $

a kovarianciamátrix érdekes használata a Mahalanobis távolságban van, amelyet többváltozós távolságok KOVARIANCIÁVAL történő mérésekor használnak., Ez úgy történik, hogy a \ (x\) pont és a többváltozós normál eloszlás közötti korrelálatlan távolságot kiszámítjuk a következő képlettel:

$ d_m (x) = \sqrt{(x – \mu)^TC^{-1}(x – \mu))} $

ahol \(\mu\) az átlagos és\ (C\) a többváltozós normál eloszlás kovarianciája (a normálisnak vélt pontok halmaza). A Mahalanobisz-távolság levezetése a Cholesky-bomlás használatával ebben a cikkben található.,

Következtetés

ebben A cikkben láttuk, hogy a kapcsolat a covariance mátrix, lineáris transzformáció, amely egy fontos építőköve, a megértés segítségével PCA, SVD, a Bayes Osztályozó, a Módszer távolság, valamint egyéb témákról, a statisztikai minta felismerés. A kovarianciamátrix hasznos sarokköve volt a minták felismerésében és a statisztikákban használt sok fogalom és módszer megértésében.

a mátrix identitások közül sok megtalálható a Mátrix szakácskönyvben., Az SVD, a PCA és a kovarianciamátrix közötti kapcsolat elegánsan megmutatkozik ebben a kérdésben.