Ten artykuł pokazuje geometryczne i intuicyjne Wyjaśnienie macierzy kowariancji i sposobu, w jaki opisuje ona kształt zbioru danych. Opisujemy zależność geometryczną macierzy kowariancji za pomocą przekształceń liniowych i eigendekompozycji.

wprowadzenie

zanim zaczniemy, przyjrzymy się różnicy między kowariancją a wariancją., Wariancja mierzy zmienność jednej zmiennej losowej (jak wzrost osoby w populacji), podczas gdy KOWARIANCJA jest miarą tego, ile dwie zmienne losowe różnią się razem (jak wzrost osoby i waga osoby w populacji). Wzór wariancji jest podany przez

$$
\sigma^2_x = \frac{1}{n-1} \sum^{n}_{i=1}(x_i – \bar{x})^2 \\
$$

$$
\sigma(x, y) = \frac{1}{n-1} \sum^{n}_{i=1}{(x_i-\bar{x})(y_i-\Bar{y})}
$$

with n Samples., Zmienność \(\sigma_x^2\) zmiennej losowej \(x\) może być również wyrażona jako KOWARIANCJA z nią samą przez \ (\sigma (X, X)\).

macierz kowariancji

$$
C = \frac{1}{n-1} \sum^{n}_{i=1}{(X_i-\bar{X})(X_i-\bar{X})^T}
$$

w tym artykule skupimy się na przypadku dwuwymiarowym, ale można go łatwo uogólnić na bardziej wymiarowe dane.,\sigma(X, y) \\
\sigma(y, x) & \sigma(y, y) \end{array} \right)
$$

ten przypadek oznaczałby, że \(x\) i \(y\) są niezależne (lub nieskorelowane), a KOWARIANCJA macierz \(C\) to

$$
C = \left( \begin{array}{CCC}
\sigma_x^2 & 0 \\
0 & \Sigma_y^2 \end{array} \right)
$$

możemy sprawdzić obliczając macierz kowariancji

, która w przybliżeniu daje nam naszą oczekiwaną macierz kowariancji z wariancjami \(\sigma_x^2 = \sigma_y^2 = 1\).,

przekształcenia liniowe zbioru danych

następnie przyjrzymy się, jak przekształcenia wpływają na nasze dane i macierz kowariancji \(C\). Przekształcimy nasze dane za pomocą poniższej macierzy skalowania.,y)^2 \end{array} \right)
$$

teraz zastosujemy transformację liniową w postaci macierzy transformacji \(T\) do zbioru danych, który będzie składał się z dwuwymiarowej macierzy obrotu \(R\) i poprzedniej macierzy skalowania \(S\) w następujący sposób

$$t = RS$$

gdzie macierz obrotu \(R\) jest podana przez

$$
r = \left( \begin{array}{CCC}
cos(\theta) & -sin(\Theta) \
sin (\Theta) & cos (\theta)\end{array} \right)
$$

gdzie \(\theta\) jest kątem obrotu., Przekształcone dane są następnie obliczane przez \(Y = TX\) lub \(Y = RSX\).

prowadzi to do pytania, jak rozkładać macierz kowariancji \(C\) na macierz obrotu \(R\) i macierz skalowania \(S\).

rozkład Eigena macierzy kowariancji

rozkład Eigena jest jednym z połączeń między przekształceniem liniowym a macierzą kowariancji. Wektor jest wektorem, którego kierunek pozostaje niezmieniony, gdy stosuje się do niego przekształcenie liniowe., Może być wyrażona jako

$$ AV=\lambda v $$

$$ CV = VL $$

gdzie macierz kowariancji może być reprezentowana jako

$$ c = VLV^{-1} $$

które można również uzyskać przez rozkład wartości pojedynczej. Wektory własne są wektorami jednostkowymi reprezentującymi kierunek największej wariancji danych, podczas gdy wartości własne reprezentują wielkość tej wariancji w odpowiednich kierunkach. Oznacza to, że \(V\) reprezentuje macierz obrotu, a \(\sqrt{L}\) reprezentuje macierz skalowania., Z tego równania możemy przedstawić macierz kowariancji \(C\) jako

$$ c = RSSR^{-1} $$

gdzie macierz obrotu \(R=V\) i macierz skalowania \(S=\sqrt{L}\). Z poprzedniego przekształcenia liniowego \(T=RS\) możemy wyprowadzić

$$ c = RSSR^{-1} = TT^T $$

$$ t = v\sqrt{L} $$

interesujące zastosowanie macierz kowariancji znajduje się w odległości MAHALANOBISA, która jest używana do pomiaru odległości wielowymiarowych z KOWARIANCJĄ., Robi to, obliczając niepowiązaną odległość między punktem \(x\) a wielowymiarowym rozkładem normalnym o następującym wzorze

$$ d_m(x) = \sqrt {(x – \mu)^TC^{-1} (x – \mu))} $$

gdzie \(\mu\) jest średnią, A \(C\) jest kowariancją wielowymiarowego rozkładu normalnego (zbioru punktów założonych jako rozkład normalny). Wyprowadzenie odległości Mahalanobisa z wykorzystaniem rozkładu Choleskiego można znaleźć w tym artykule.,

podsumowanie

w tym artykule zobaczyliśmy związek macierzy kowariancji z transformacją liniową, która jest ważnym elementem budulcowym dla zrozumienia i korzystania z PCA, SVD, klasyfikatora Bayesa, odległości Mahalanobisa i innych tematów w statystyce i rozpoznawaniu wzorców. Odkryłem, że macierz kowariancji jest pomocnym kamieniem węgielnym w zrozumieniu wielu pojęć i metod w rozpoznawaniu wzorców i statystyce.

wiele tożsamości macierzy można znaleźć w książce kucharskiej Matrix., Relacja między SVD, PCA i macierzy kowariancji są elegancko pokazane w tym pytaniu.