Dit artikel toont een geometrische en intuïtieve uitleg van de covariantiematrix en de manier waarop deze de vorm van een gegevensverzameling beschrijft. We zullen de geometrische relatie beschrijven van de covariantiematrix met het gebruik van lineaire transformaties en eigen samenstelling.
Inleiding
voordat we beginnen, zullen we snel kijken naar het verschil tussen covariantie en variantie., Variantie meet de variatie van een enkele willekeurige variabele (zoals de lengte van een persoon in een populatie), terwijl covariantie een maat is van hoeveel twee willekeurige variabelen samen variëren (zoals de lengte van een persoon en het gewicht van een persoon in een populatie). De formule voor variantie wordt gegeven door
$$
\sigma^2_x = \frac{1}{n-1} \sum^{n}_{i=1}(x_i – \bar{x})^2 \\
$$
$$
\sigma(x, y) = \frac{1}{n-1} \sum^{n}_{i=1}{(x_i-\bar{x})(y_i-\Bar{y})}
$$
met n-Monsters., De variantie \(\sigma_x^2\) van een willekeurige variabele \(x\) kan ook worden uitgedrukt als de covariantie met zichzelf door \(\sigma(x, x)\).
covariantiematrix
$$
C = \frac{1}{n-1} \ sum^{n}_{i = 1}{(X_i-\bar{X})(X_i-\bar{X})^T}
$$
In dit artikel zullen we ons richten op het tweedimensionale geval, maar het kan gemakkelijk worden gegeneraliseerd naar meer dimensionale gegevens.,\sigma(x, y) \\
\sigma(y, x) & \sigma(y, y) \end{array} \right)
$$
in Dit geval zou betekenen dat \(x\) en \(y\) onafhankelijk zijn (of niet-gecorreleerde) en de covariantie matrix \C\) is
$$
C = \left( \begin{array}{ccc}
\sigma_x^2 & 0 \\
0 & \sigma_y^2 \end{array} \right)
$$
We kunnen dit controleren door in de berekening van de covariantie matrix
Die approximatelly geeft ons verwacht covariantie matrix met variaties \(\sigma_x^2 = \sigma_y^2 = 1\).,
lineaire transformaties van de gegevensverzameling
vervolgens zullen we bekijken hoe transformaties onze gegevens en de covariantiematrix \(C\) beïnvloeden. We zullen onze data transformeren met de volgende schaalmatrix.,y)^2 \end{array} \right)
$$
Nu we een lineaire transformatie in de vorm van een transformatie matrix \(T\) om de gegevens invoeren die zal worden samengesteld uit een twee-dimensionale rotatie matrix \(R\) en de vorige schalen matrix \(S\) als volgt
$$T = RS$$
waar de rotatie matrix \(R\) wordt gegeven door
$$
R = \left( \begin{array}{ccc}
cos(\theta) & -sin(\theta) \\
sin(\theta) & cos(\theta) \end{array} \right)
$$
waar \(\theta\) wordt de rotatiehoek op de hoek., De getransformeerde gegevens worden dan berekend door \(Y = TX\) of \(Y = RSX\).
Dit leidt tot de vraag hoe de covariantiematrix \(C\) kan worden ontleed in een rotatiematrix \(R\) en een schaalmatrix \(S\).
Eigen decompositie van de covariantiematrix
Eigen decompositie is een verbinding tussen een lineaire transformatie en de covariantiematrix. Een eigenvector is een vector waarvan de richting onveranderd blijft als er een lineaire transformatie op wordt toegepast., Het kan worden uitgedrukt als
$$ Av= \ lambda v $$
$ $ CV = VL $$
waarbij de covariantiematrix kan worden weergegeven als
$$ c = VLV^{-1} $$
die ook kan worden verkregen door enkelvoudige Waardedecompositie. De eigenvectoren zijn eenheidsvectoren die de richting van de grootste variantie van de gegevens weergeven, terwijl de eigenwaarden de grootte van deze variantie in de corresponderende richtingen weergeven. Dit betekent dat \(V\) een rotatiematrix voorstelt en \(\sqrt{L}\) een schaling matrix voorstelt., Uit deze vergelijking kunnen we de covariantiematrix \(C\) voorstellen als
$$ c = RSSR^{-1} $$
waarbij de rotatiematrix \(R=V\) en de schaalmatrix \(S=\sqrt{L}\). Uit de vorige lineaire transformatie \(T=RS\) kunnen we afleiden
$$ C = RSSR^{-1} = TT^T $$
$$ T = V\sqrt{L} $$
Een interessant gebruik van de covariantie matrix is in de Mahalanobis afstand, die wordt gebruikt bij het meten van multivariate afstanden met covariantie., Het doet dat door de ongecorreleerde afstand te berekenen tussen een punt \(x\) tot een multivariate normale verdeling met de volgende formule
$$ d_m(x) = \sqrt{(x – \mu)^TC^{-1}(x – \mu))} $$
waarbij \(\mu\) het gemiddelde is en \(C\) de covariantie is van de multivariate normale verdeling (de verzameling punten waarvan wordt aangenomen dat ze normaal verdeeld zijn). Een afleiding van de Mahalanobis afstand met het gebruik van de Cholesky ontleding is te vinden in dit artikel.,
conclusie
in dit artikel zagen we de relatie van de covariantiematrix met lineaire transformatie die een belangrijke bouwsteen is voor het begrijpen en gebruiken van PCA, SVD, de Bayes Classifier, de Mahalanobis afstand en andere onderwerpen in statistieken en patroonherkenning. Ik vond de covariantie matrix een nuttige hoeksteen in het begrip van de vele concepten en methoden in patroonherkenning en statistieken.
veel van de matrix identiteiten zijn te vinden in het Matrix kookboek., De relatie tussen SVD, PCA en de covariantiematrix wordt in deze vraag elegant weergegeven.