Covarianza

En probabilidad y estadística, la covarianza es un valor que indica el grado de variación conjunta de dos variables aleatorias respecto a sus medias. Es el dato básico para determinar si existe una dependencia entre ambas variables y además es el dato necesario para estimar otros parámetros básicos, como el coeficiente de correlación lineal o la recta de regresión.

Interpretación

Cuando los valores altos de una de las variables suelen mayoritariamente corresponderse con los valores altos de la otra, y lo mismo se verifica para los pequeños valores de una con los de la otra, se corrobora que tienden a mostrar comportamiento similar lo que se refleja en un valor positivo de la covarianza^[1]​
Por el contrario, cuando los valores altos de una variable suelen corresponder mayoritariamente a los menores valores de la otra, expresando un comportamiento opuesto, la covarianza es negativa.

El signo de la covarianza, por lo tanto, expresa la tendencia en la relación lineal entre las variables.
La magnitud requiere un esfuerzo adicional de interpretación:
La versión normalizada de la covarianza, el coeficiente de correlación indica la magnitud de la especificidad de la relación lineal.

Se debe distinguir entre:
(1) la covarianza de dos variables aleatorias, parámetro estadístico de una población considerado una propiedad de la distribución conjunta y
(2) la covarianza muestral que se emplea como un valor estadísticamente estimado es una de las principales causas o motivos de la covarianza.

Definición

La covarianza entre dos variables aleatorias ${\displaystyle X}$ y ${\displaystyle Y}$ se define como

${\displaystyle \operatorname {Cov} (X,Y)=\operatorname {E} {{\big [}(X-\operatorname {E} [X])(Y-\operatorname {E} [Y]){\big ]}},}$

siempre que ${\displaystyle \operatorname {E} [X]}$, ${\displaystyle \operatorname {E} [Y]}$ y ${\displaystyle \operatorname {E} [XY]<\infty }$, donde ${\displaystyle \operatorname {E} [X]}$, ${\displaystyle \operatorname {E} [Y]}$ y ${\displaystyle \operatorname {E} [XY]}$ denota los valores esperados de las variables aleatorias ${\displaystyle X}$, ${\displaystyle Y}$ y ${\displaystyle XY}$ respectivamente. Como la esperanza es un operador lineal entonces la expresión anterior se puede escribir de otra forma

${\displaystyle {\begin{aligned}\operatorname {Cov} (X,Y)&=\operatorname {E} \left[\left(X-\operatorname {E} \left[X\right]\right)\left(Y-\operatorname {E} \left[Y\right]\right)\right]\\&=\operatorname {E} \left[XY-X\operatorname {E} \left[Y\right]-\operatorname {E} \left[X\right]Y+\operatorname {E} \left[X\right]\operatorname {E} \left[Y\right]\right]\\&=\operatorname {E} \left[XY\right]-\operatorname {E} \left[X\right]\operatorname {E} \left[Y\right]-\operatorname {E} \left[X\right]\operatorname {E} \left[Y\right]+\operatorname {E} \left[X\right]\operatorname {E} \left[Y\right]\\&=\operatorname {E} \left[XY\right]-\operatorname {E} \left[X\right]\operatorname {E} \left[Y\right].\end{aligned}}}$

Variables Aleatorias Discretas

Si las variables aleatorias ${\displaystyle X}$ y ${\displaystyle Y}$ pueden tomar los valores ${\displaystyle x_{i}}$ y ${\displaystyle y_{i}}$ para ${\displaystyle i=1,2,\dots ,n}$ con probabilidad ${\displaystyle \operatorname {P} [X=x_{i}]=1/n}$ y ${\displaystyle \operatorname {P} [Y=y_{i}]=1/n}$ respectivamente entonces la covarianza puede ser expresada en términos de ${\displaystyle \operatorname {E} [X]}$ y ${\displaystyle \operatorname {E} [Y]}$ como

${\displaystyle \operatorname {Cov} (X,Y)={\frac {1}{n}}\sum _{i=1}^{n}\left(x_{i}-\operatorname {E} [X]\right)\left(y_{i}-\operatorname {E} [Y]\right)}$

o expresadas como

${\displaystyle \operatorname {Cov} (X,Y)={\frac {1}{2n^{2}}}\sum _{i=2}^{n}\sum _{j=1}^{n}\left(x_{i}-x_{j}\right)\left(y_{i}-y_{j}\right)}$

Caso Multivariado

Si ${\displaystyle {\mathbf {X}}}$ es un vector aleatorio de dimensión ${\displaystyle n}$, es decir, ${\displaystyle {\mathbf {X}}=(X_{1},\ldots ,X_{n})^{t}}$ donde ${\displaystyle X_{i}}$ para ${\displaystyle i=1,2,\dots ,n}$ son variables aleatorias, la matriz de covarianza, denotada por ${\displaystyle \Sigma }$, está dada por

${\displaystyle \Sigma ={\begin{pmatrix}\operatorname {Cov} (X_{1},X_{1})&\operatorname {Cov} (X_{1},X_{2})&\cdots &\operatorname {Cov} (X_{1},X_{n})\\\operatorname {Cov} (X_{2},X_{1})&\operatorname {Cov} (X_{2},X_{2})&\cdots &\operatorname {Cov} (X_{2},X_{n})\\\vdots &\vdots &\ddots &\vdots \\\operatorname {Cov} (X_{n},X_{1})&\operatorname {Cov} (X_{n},X_{2})&\cdots &\operatorname {Cov} (X_{n},X_{n})\end{pmatrix}}}$

es decir, la ${\displaystyle (i,j)}$-ésima entrada de ${\displaystyle \Sigma }$ corresponde a la covarianza entre ${\displaystyle X_{i}}$ y ${\displaystyle X_{j}}$ que puede ser representada como

${\displaystyle \Sigma _{ij}=\operatorname {Cov} (X_{i},X_{j})}$

en particular, cuando ${\displaystyle i=j}$, entonces

${\displaystyle \Sigma _{ii}=\operatorname {Cov} (X_{i},X_{i})=\operatorname {Var} (X_{i})}$

por lo que la matriz ${\displaystyle \Sigma }$ puede ser escrita como

${\displaystyle \Sigma ={\begin{pmatrix}\operatorname {Var} (X_{1})&\operatorname {Cov} (X_{1},X_{2})&\cdots &\operatorname {Cov} (X_{1},X_{n})\\\operatorname {Cov} (X_{2},X_{1})&\operatorname {Var} (X_{2})&\cdots &\operatorname {Cov} (X_{2},X_{n})\\\vdots &\vdots &\ddots &\vdots \\\operatorname {Cov} (X_{n},X_{1})&\operatorname {Cov} (X_{n},X_{2})&\cdots &\operatorname {Var} (X_{n})\end{pmatrix}}}$

Propiedades

Covarianza consigo misma

La varianza es un caso particular de la covarianza cuando dos variables aleatorias son idénticas

${\displaystyle \operatorname {Cov} (X,X)=\operatorname {Var} (X)\equiv \sigma _{X}^{2}}$

Covarianza de combinaciones lineales

Sean ${\displaystyle X}$, ${\displaystyle Y}$, ${\displaystyle W}$ y ${\displaystyle V}$ variables aleatorias y ${\displaystyle a,b,c,d\in \mathbb {R} }$ entonces

1. ${\displaystyle \operatorname {Cov} (X,a)=0\,}$
2. ${\displaystyle \operatorname {Cov} (X,X)=\operatorname {Var} (X)}$, donde ${\displaystyle \operatorname {Var} (X)}$ denota la varianza de ${\displaystyle X}$.
3. ${\displaystyle \operatorname {Cov} (X,Y)=\operatorname {Cov} (Y,X)}$ llamada propiedad de simetría.
4. ${\displaystyle \operatorname {Cov} (aX,bY)=ab\operatorname {Cov} (X,Y)}$
5. ${\displaystyle \operatorname {Cov} (X+a,Y+b)=\operatorname {Cov} (X,Y)}$
6. ${\displaystyle \operatorname {Cov} (aX+bY,cW+dV)=ac\operatorname {Cov} (X,W)+ad\operatorname {Cov} (X,V)+bc\operatorname {Cov} (Y,W)+bd\operatorname {Cov} (Y,V)}$
7. ${\displaystyle \operatorname {Cov} (X,Y)=\operatorname {E} [XY]-\operatorname {E} [X]\operatorname {E} [Y]}$, fórmula que suele emplearse en la práctica para calcular la covarianza.

Estas propiedades se deducen de manera casi directa de la definición de la covarianza.

Para una secuencia ${\displaystyle X_{1},X_{2},\dots ,X_{n}}$ de variables aleatorias y para valores ${\displaystyle a_{1},a_{2},\dots ,a_{n}\in \mathbb {R} }$ se tiene

${\displaystyle {\begin{aligned}\operatorname {Var} \left(\sum _{i=1}^{n}a_{i}X_{i}\right)&=\sum _{i=1}^{n}a_{i}^{2}\sigma _{X_{i}}^{2}+2\sum _{i,j:i<j}a_{i}a_{j}\operatorname {Cov} (X_{i},X_{j})\\&=\sum _{i<j}a_{i}a_{j}\operatorname {Cov} (X_{i},X_{j})\end{aligned}}}$

No correlación e Independencia

A las variables aleatorias cuya covarianza es cero se dicen que son no correlacionadas.

Si ${\displaystyle X}$ e ${\displaystyle Y}$ son variables aleatorias independientes entonces su covarianza es cero, esto es

${\displaystyle {\text{Cov}}(X,Y)=0}$

esto ocurre por la propiedad de independencia

${\displaystyle \operatorname {E} [XY]=\operatorname {E} [X]\operatorname {E} [Y]}$

entonces reemplazando en la fórmula de la covarianza se obtiene

${\displaystyle {\begin{aligned}\operatorname {Cov} (X,Y)&=\operatorname {E} [XY]-\operatorname {E} [X]\operatorname {E} [Y]\\&=\operatorname {E} [X]\operatorname {E} [Y]-\operatorname {E} [X]\operatorname {E} [Y]\\&=0\end{aligned}}}$

Lo opuesto, sin embargo, generalmente no es cierto: algunos pares de variables aleatorias tienen covarianza cero pese a que no son independientes. Bajo algunas hipótesis adicionales, la covarianza de valor cero implica independencia, como por ejemplo en el caso de la distribución normal multivariante.

Relación con el producto escalar

La mayoría de las propiedades de la covarianza se deducen de las del producto escalar:

1. Bilinealidad: para ${\displaystyle a,b\in \mathbb {R} }$ y las variables aleatorias ${\displaystyle X}$, ${\displaystyle Y}$ y ${\displaystyle U}$ se cumple${\displaystyle \operatorname {Cov} (aX+bY,U)=a\operatorname {Cov} (X,U)+b\operatorname {Cov} (Y,U)}$
2. Simetría: ${\displaystyle {\text{Cov}}(X,Y)={\text{Cov}}(Y,X)}$
3. Es un operador positivo definido: ${\displaystyle {\text{Var}}(X)={\text{Cov}}(X,X)\geq 0}$; además, si ${\displaystyle {\text{Cov}}(X,X)=0}$ entonces ${\displaystyle X}$ es una variable aleatoria constante.

De hecho, la covarianza es un producto interior sobre el espacio cociente de las variables aleatorias de momentos finitos iguales salvo constante.

Covarianza muestral

Si ${\displaystyle X}$ y ${\displaystyle Y}$ son variables aleatorias que toman los valores ${\displaystyle x_{i}}$ y ${\displaystyle y_{i}}$ para ${\displaystyle i=1,2,\dots ,n}$ entonces se puede estimar la covarianza entre ${\displaystyle X}$ y ${\displaystyle Y}$, este estimador denotado por ${\displaystyle S_{xy}}$ se define como

${\displaystyle {\begin{aligned}S_{xy}&={\frac {1}{n-1}}\sum _{i=1}^{n}{(x_{i}-{\overline {x}})(y_{i}-{\overline {y}})}\\&={\frac {1}{n-1}}[\sum _{i=1}^{n}{x_{i}y_{i}}-n{\bar {x}}{\bar {y}}]\end{aligned}}}$

donde

${\displaystyle {\overline {x}}=\sum _{i=1}^{n}{\frac {x_{i}}{n}}\qquad {\text{y}}\qquad {\overline {y}}=\sum _{i=1}^{n}{\frac {y_{i}}{n}}}$

denotan la media muestral.

El estimador ${\displaystyle S_{xy}}$ tiene la propiedad de que es un estimador insesgado.

Interpretación de la covarianza

• Si ${\displaystyle S_{xy}>{0}}$ hay dependencia directa (positiva), es decir, a grandes valores de ${\displaystyle X}$ corresponden grandes valores de ${\displaystyle Y}$.
• Si ${\displaystyle S_{xy}={0}}$ se interpreta como la no existencia de una relación lineal entre las dos variables.
• Si ${\displaystyle S_{xy}<{0}}$ hay dependencia inversa o negativa, es decir, a grandes valores de ${\displaystyle X}$ corresponden pequeños valores de ${\displaystyle Y}$.

Véase también

• Esperanza matemática
• Varianza
• Regresión lineal
• Coeficiente de correlación
• ANOVA o análisis de la varianza

Referencias

Enlaces externos

• Resolver covarianza y varianza con fórmula en línea
• Simulación de la covarianza de una variable bidimensional continua [1] y discreta [2] con R (lenguaje de programación)