Ten artykuł pokazuje geometryczne i intuicyjne Wyjaśnienie macierzy kowariancji i sposobu, w jaki opisuje ona kształt zbioru danych. Opisujemy zależność geometryczną macierzy kowariancji za pomocą przekształceń liniowych i eigendekompozycji.
wprowadzenie
zanim zaczniemy, przyjrzymy się różnicy między kowariancją a wariancją., Wariancja mierzy zmienność jednej zmiennej losowej (jak wzrost osoby w populacji), podczas gdy KOWARIANCJA jest miarą tego, ile dwie zmienne losowe różnią się razem (jak wzrost osoby i waga osoby w populacji). Wzór wariancji jest podany przez
$$
\sigma^2_x = \frac{1}{n-1} \sum^{n}_{i=1}(x_i – \bar{x})^2 \\
$$
$$
\sigma(x, y) = \frac{1}{n-1} \sum^{n}_{i=1}{(x_i-\bar{x})(y_i-\Bar{y})}
$$
with n Samples., Zmienność \(\sigma_x^2\) zmiennej losowej \(x\) może być również wyrażona jako KOWARIANCJA z nią samą przez \ (\sigma (X, X)\).
macierz kowariancji
$$
C = \frac{1}{n-1} \sum^{n}_{i=1}{(X_i-\bar{X})(X_i-\bar{X})^T}
$$
w tym artykule skupimy się na przypadku dwuwymiarowym, ale można go łatwo uogólnić na bardziej wymiarowe dane.,\sigma(X, y) \\
\sigma(y, x) & \sigma(y, y) \end{array} \right)
$$
ten przypadek oznaczałby, że \(x\) i \(y\) są niezależne (lub nieskorelowane), a KOWARIANCJA macierz \(C\) to
$$
C = \left( \begin{array}{CCC}
\sigma_x^2 & 0 \\
0 & \Sigma_y^2 \end{array} \right)
$$
możemy sprawdzić obliczając macierz kowariancji
, która w przybliżeniu daje nam naszą oczekiwaną macierz kowariancji z wariancjami \(\sigma_x^2 = \sigma_y^2 = 1\).,
przekształcenia liniowe zbioru danych
następnie przyjrzymy się, jak przekształcenia wpływają na nasze dane i macierz kowariancji \(C\). Przekształcimy nasze dane za pomocą poniższej macierzy skalowania.,y)^2 \end{array} \right)
$$
teraz zastosujemy transformację liniową w postaci macierzy transformacji \(T\) do zbioru danych, który będzie składał się z dwuwymiarowej macierzy obrotu \(R\) i poprzedniej macierzy skalowania \(S\) w następujący sposób
$$t = RS$$
gdzie macierz obrotu \(R\) jest podana przez
$$
r = \left( \begin{array}{CCC}
cos(\theta) & -sin(\Theta) \
sin (\Theta) & cos (\theta)\end{array} \right)
$$
gdzie \(\theta\) jest kątem obrotu., Przekształcone dane są następnie obliczane przez \(Y = TX\) lub \(Y = RSX\).
prowadzi to do pytania, jak rozkładać macierz kowariancji \(C\) na macierz obrotu \(R\) i macierz skalowania \(S\).
rozkład Eigena macierzy kowariancji
rozkład Eigena jest jednym z połączeń między przekształceniem liniowym a macierzą kowariancji. Wektor jest wektorem, którego kierunek pozostaje niezmieniony, gdy stosuje się do niego przekształcenie liniowe., Może być wyrażona jako
$$ AV=\lambda v $$
$$ CV = VL $$
gdzie macierz kowariancji może być reprezentowana jako
$$ c = VLV^{-1} $$
które można również uzyskać przez rozkład wartości pojedynczej. Wektory własne są wektorami jednostkowymi reprezentującymi kierunek największej wariancji danych, podczas gdy wartości własne reprezentują wielkość tej wariancji w odpowiednich kierunkach. Oznacza to, że \(V\) reprezentuje macierz obrotu, a \(\sqrt{L}\) reprezentuje macierz skalowania., Z tego równania możemy przedstawić macierz kowariancji \(C\) jako
$$ c = RSSR^{-1} $$
gdzie macierz obrotu \(R=V\) i macierz skalowania \(S=\sqrt{L}\). Z poprzedniego przekształcenia liniowego \(T=RS\) możemy wyprowadzić
$$ c = RSSR^{-1} = TT^T $$
$$ t = v\sqrt{L} $$
interesujące zastosowanie macierz kowariancji znajduje się w odległości MAHALANOBISA, która jest używana do pomiaru odległości wielowymiarowych z KOWARIANCJĄ., Robi to, obliczając niepowiązaną odległość między punktem \(x\) a wielowymiarowym rozkładem normalnym o następującym wzorze
$$ d_m(x) = \sqrt {(x – \mu)^TC^{-1} (x – \mu))} $$
gdzie \(\mu\) jest średnią, A \(C\) jest kowariancją wielowymiarowego rozkładu normalnego (zbioru punktów założonych jako rozkład normalny). Wyprowadzenie odległości Mahalanobisa z wykorzystaniem rozkładu Choleskiego można znaleźć w tym artykule.,
podsumowanie
w tym artykule zobaczyliśmy związek macierzy kowariancji z transformacją liniową, która jest ważnym elementem budulcowym dla zrozumienia i korzystania z PCA, SVD, klasyfikatora Bayesa, odległości Mahalanobisa i innych tematów w statystyce i rozpoznawaniu wzorców. Odkryłem, że macierz kowariancji jest pomocnym kamieniem węgielnym w zrozumieniu wielu pojęć i metod w rozpoznawaniu wzorców i statystyce.
wiele tożsamości macierzy można znaleźć w książce kucharskiej Matrix., Relacja między SVD, PCA i macierzy kowariancji są elegancko pokazane w tym pytaniu.