den här artikeln visar en geometrisk och intuitiv förklaring av kovariansmatrisen och hur den beskriver formen på en datauppsättning. Vi kommer att beskriva det geometriska förhållandet mellan kovariansmatrisen med användning av linjära transformationer och egenkomposition.
introduktion
innan vi börjar, ska vi ta en snabb titt på skillnaden mellan kovarians och varians., Varians mäter variationen av en enda slumpvariabel (som en persons höjd i en population), medan kovarians är ett mått på hur mycket två slumpmässiga variabler varierar tillsammans (som en persons höjd och en persons vikt i en population). Formeln för varians ges av
$$
\sigma^2_x = \frac{1}{n-1} \sum^{n}_{i=1}(x_i – \bar{x})^2 \\
$$
$$
\sigma(x, y) = \frac{1}{n-1} \sum^{n}_{i=1}{(x_i-\bar{x})(y_i-\Bar{y})}
$$
med n-prover., Variansen\ (\sigma_x^2\) av en slumpmässig variabel \(x\) kan också uttryckas som kovariansen med sig själv av \(\sigma(x, x)\).
Kovariansmatris
$$
C = \frac{1}{n-1} \sum^{n} _ {i = 1} {(X_i – \ bar{X}) (X_i-\bar{x})^t}
$$
i den här artikeln kommer vi att fokusera på det tvådimensionella fallet, men det kan lätt generaliseras till mer dimensionella data.,\sigma(x, y) \\
\sigma(y, x) & \sigma(y, y) \end{array} \right)
$$
det här fallet skulle innebära att \(x\) och \(y\) är oberoende (eller okorrelerade) och kovariansmatrisen \(C\) är
$$
C = \left( \begin{array}{CCC}
\sigma_x^2 & 0 \\
0 & \sigma_y^2 \end{array} \right)
$$
vi kan kontrollera detta genom att beräkna kovariansmatrisen
vilken approximatelly ger oss vår förväntade kovariansmatris med varianser \(\sigma_x^2 = \sigma_y^2 = 1\).,
linjära transformationer av datauppsättningen
därefter kommer vi att titta på hur transformationer påverkar våra data och kovariansmatrisen \(C\). Vi kommer att omvandla våra data med följande skalningsmatris.,y)^2 \end{array} \right)
$$
nu kommer vi att tillämpa en linjär omvandling i form av en transformationsmatris \(t\) till datauppsättningen som kommer att bestå av en tvådimensionell rotationsmatris \(r\) och den tidigare skalningsmatrisen \(s\) enligt följande
$$t = RS$$
där rotationsmatrisen \(r\) ges av
$$
r = \left( \begin{array}{CCC}
cos(\theta) & -sin(\theta) \\
sin(\theta) & cos(\theta) \end{array} \right)
$$
var \(\theta\) är rotationsvinkeln., De transformerade data beräknas sedan av \(Y = TX\) eller \(Y = RSX\).
detta leder till frågan om hur man sönderdelar kovariansmatrisen \(C\) i en rotationsmatris \(R\) och en skalningsmatris \(s\).
eigens sönderdelning av Kovariansmatrisen
eigens sönderdelning är en koppling mellan en linjär transformation och kovariansmatrisen. En egenvektor är en vektor vars riktning förblir oförändrad när en linjär omvandling appliceras på den., Det kan uttryckas som
$$ av=\lambda v $$
$$ CV = VL $$
där kovariansmatrisen kan representeras som
$$ c = VLV^{-1} $ $
som också kan erhållas genom sönderdelning av singulärt värde. Egenvektorerna är enhetsvektorer som representerar riktningen för dataens största varians, medan egenvärdena representerar storleken på denna varians i motsvarande riktningar. Detta betyder \(v\) representerar en rotationsmatris och \(\sqrt{l}\) representerar en skalningsmatris., Från denna ekvation kan vi representera kovariansmatrisen \(C\) som
$$ c = rssr^{-1} $$
där rotationsmatrisen \(R = v\) och skalningsmatrisen \(s=\sqrt{l}\). Från den tidigare linjära omvandlingen \(t=RS\) kan vi härleda
$$ c = RSSR^{-1} = TT^t $$
$$ t = v\sqrt{l} $$
en intressant användning av kovariansmatrisen är i Mahalanobis avstånd, som används vid mätning av multivariata avstånd med kovarians., Det gör det genom att beräkna det okorrelerade avståndet mellan en punkt \(x\) till en multivariat normalfördelning med följande formel
$$ d_m (x) = \sqrt{(x – \mu)^TC^{-1}(x – \mu))} $$
var \(\mu\) är medelvärdet och \(C\) är kovariansen hos den multivariata normala fördelningen (uppsättningen punkter antas vara normalfördelad). En härledning av Mahalanobis-avståndet med användning av Cholesky-sönderdelningen finns i den här artikeln.,
slutsats
i den här artikeln såg vi förhållandet mellan kovariansmatrisen och linjär transformation som är ett viktigt byggblock för förståelse och användning av PCA, SVD, Bayes-klassificeraren, Mahalanobis-avståndet och andra ämnen i statistik och mönsterigenkänning. Jag tyckte att kovariansmatrisen var en hjälpsam hörnsten i förståelsen av de många begreppen och metoderna i mönsterigenkänning och statistik.
många av matrisidentiteterna finns i matris kokbok., Förhållandet mellan SVD, PCA och kovariansmatrisen visas elegant i denna fråga.