Este artigo apresenta uma explicação geométrica e intuitiva da matriz de covariância e da forma como descreve a forma de um conjunto de dados. Vamos descrever a relação geométrica da matriz de covariância com o uso de transformações lineares e eigendecomposição.
introdução
Antes de começarmos, vamos dar uma olhada rápida na diferença entre covariância e variância., Variance measures the variance of a single random variable (like the height of a person in a population), whereas covariance is a measure of how much two random variable together (like the height of a person and the weight of a person in a population). A fórmula para a variância é dada por
$$
\sigma^2_x = \frac{1}{n-1} \sum^{n}_{i=1}(x_i – \bar{x})^2 \\
$$
$$
\sigma(x, y) = \frac{1}{n-1} \sum^{n}_{i=1}{(x_i-\bar{x})(y_i-\bar{y})}
$$
com n amostras., A variância \(\sigma_x^2\) de uma variável aleatória \(x\) também pode ser expressa como a covariância com ela própria por \(\sigma(x, x)\).
Matriz de Covariância
$$
C = \frac{1}{n-1} \sum^{n}_{i=1}{(X_i-\bar{X})(X_i-\bar{X})^T}
$$
neste artigo, vamos concentrar-nos sobre os dois-dimensional caso, mas ela pode ser facilmente generalizada para mais de dados dimensional.,\sigma(x, y) \\
\sigma(y, x) & \sigma(y, y) \end{array} \right)
$$
Neste caso significaria que \(x\) e \(y\) são independentes (ou não correlacionada) e a covariância da matriz \(C\) é
$$
C = \left( \begin{array}{ccc}
\sigma_x^2 & 0 \\
0 & \sigma_y^2 \end{array} \right)
$$
podemos verificar isso através do cálculo da matriz de covariância
o Que approximatelly nos dá o nosso esperado covariância da matriz, com variações de \(\sigma_x^2 = \sigma_y^2 = 1\).,
transformações lineares do conjunto de dados
a seguir, veremos como as transformações afectam os nossos dados e a matriz de covariância \(c\). Vamos transformar os nossos dados com a seguinte matriz de escala.,y)^2 \end{array} \right)
$$
Agora vamos aplicar uma transformação linear na forma de uma matriz de transformação \(T\) para o conjunto de dados a que irá ser composto de duas dimensões de matriz de rotação \(R\) e o anterior dimensionamento da matriz \(S\) como segue
$$T = RS$$
onde a matriz de rotação \(R\) é dada por
$$
R = \left( \begin{array}{ccc}
cos(\theta) & -sin(\theta) \\
sin(\theta) & cos(\theta) \end{array} \right)
$$
onde \(\theta\) é o ângulo de rotação., Os dados transformados são então calculados por \(Y = TX\) ou \(Y = RSX\).
Isto leva à questão de como decompor a matriz de covariância \(C\) em uma matriz de rotação \(R\) e uma escala de matriz \(S\).
eigen Decomposition of the Covariance Matrix
eigen Decomposition is one connection between a linear transformation and the covariance matrix. Um autovetor é um vetor cuja direção permanece inalterada quando uma transformação linear é aplicada a ele., Ele pode ser expresso como:
$$ Av=\lambda v $$
$$ CV = VL $$
se a matriz de covariância pode ser representado como
$$ C = VLV^{-1} $$
que também pode ser obtido pela Decomposição em valores Singulares. Os autovetores são vetores unitários representando a direção da maior variância dos dados, enquanto os autovalores representam a magnitude desta variância nas direções correspondentes. Isto significa que \(V\) representa uma matriz de rotação e \(\sqrt{l}\) representa uma matriz de escala., A partir desta equação, podemos representar a matriz de covariância \(C\) como
$ c = RSSR^{-1}$
onde a matriz de rotação \(R=V\) e a matriz de escala \(S=\sqrt{l}\). A partir anterior transformação linear \(T=RS\), podemos derivar
$$ C = RSSR^{-1} = TT^T $$
$$ T = V\sqrt{L} $$
Um uso interessante da matriz de covariância é na distância de Mahalanobis, que é usada quando a medição multivariada distâncias com covariância., Ele faz isso através do cálculo da uncorrelated distância entre um ponto \(x\) para um multivariada distribuição normal com a seguinte fórmula
$$ D_M(x) = \sqrt{(x \mu)^TC^{-1}(x \mu))} $$
onde \(\mu\) é a média e \(C\) é a covariância do multivariada distribuição normal (o conjunto de pontos a ser assumida normal distribuído). Uma derivação da distância de Mahalanobis com o uso da decomposição de Colesky pode ser encontrada neste artigo.,
Conclusão
neste artigo vimos a relação da matriz de covariância com a transformação linear que é um importante bloco de construção para a compreensão e a utilização da PCA, SVD, o Classificador de Bayes, a distância de Mahalanobis e outros tópicos em estatística e o reconhecimento de padrões. Eu achei a matriz de covariância uma pedra angular útil na compreensão dos muitos conceitos e métodos no reconhecimento de padrões e estatísticas.muitas das identidades da matriz podem ser encontradas no Matrix Cookbook., A relação entre SVD, PCA e a matriz de covariância é mostrada elegantemente nesta questão.