3 Covarianza y correlacion

Sean XX una variable aleatoria univariante y g:ℝ→ℝg\colon\mathbb{R}\to\mathbb{R} una funcion real. Entonces g(X)g(X) es otra variable aleatoria y su valor esperado viene dado por

E(g(X))={∑xi∈SXg(xi)fX(xi)en el caso discreto∫SXg(x)fX(x)dxen el caso continuoE(g(X))=\begin{cases}\displaystyle\sum_{x_{i}\in S_{X}}g(x_{i})f_{X}(x_{i})&% \text{en el caso discreto}\\[10.33331pt] \displaystyle\int_{S_{X}}g(x)f_{X}(x)\,dx&\text{en el caso continuo}\end{cases}
Ejemplo III.2.

Sea XX una variable aleatoria con funcion de masa

fX(0)\displaystyle f_{X}(0)
=0,3,\displaystyle{}=0{,}3,
fX(90)\displaystyle f_{X}(90)
=0,2,\displaystyle{}=0{,}2,
fX(180)\displaystyle f_{X}(180)
=0,4,\displaystyle{}=0{,}4,
fX(270)\displaystyle f_{X}(270)
=0,1\displaystyle{}=0{,}1

Puesto que XX es discreta,

E(sin(X))\displaystyle E(\sin(X))
=∑x∈SXsin(x)fX(x)=\displaystyle{}=\sum_{x\in S_{X}}\sin(x)f_{X}(x)=
=0,3⋅sin(0)+0,2⋅sin(90)+0,4⋅sin(180)+0,1⋅sin(270)=\displaystyle{}=0{,}3\cdot\sin(0)+0{,}2\cdot\sin(90)+0{,}4\cdot\sin(180)+0{,}1% \cdot\sin(270)=
=0,1\displaystyle{}=0{,}1

y

E(cos(X))\displaystyle E(\cos(X))
=∑x∈SXcos(x)fX(x)=\displaystyle{}=\sum_{x\in S_{X}}\cos(x)f_{X}(x)=
=0,3⋅cos(0)+0,2⋅cos(90)+0,4⋅cos(180)+0,1⋅cos(270)=\displaystyle{}=0{,}3\cdot\cos(0)+0{,}2\cdot\cos(90)+0{,}4\cdot\cos(180)+0{,}1% \cdot\cos(270)=
=−0,1\displaystyle{}=-0{,}1

La generalización de este resultado a dimensión n=2n=2 es la siguiente: Si (X1,X2)(X_{1},X_{2}) es un vector aleatorio bivariante y

g:ℝ2→ℝg:\mathbb{R}^{2}\to\mathbb{R}

entonces g(X1,X2)g(X_{1},X_{2}) es una variable aleatoria unidimensional (transformación de las variables aleatorias originales), y su valor esperado es

E[g(X1,X2)]={∑x1∈SX1∑x2∈SX2g(x1,x2)fX1,X2(x1,x2)caso discreto,∫SX1∫SX1g(x1,x2)fX1,X2(x1,x2)dx2dx1caso continuo.E[g(X_{1},X_{2})]=\begin{cases}\sum_{x_{1}\in S_{X_{1}}}\sum_{x_{2}\in S_{X_{2% }}}g(x_{1},x_{2})f_{X_{1},X_{2}}(x_{1},x_{2})&\text{caso discreto,}\\[24.00006% pt] \int_{S_{X_{1}}}\int_{S_{X_{1}}}g(x_{1},x_{2})f_{X_{1},X_{2}}(x_{1},x_{2})\,dx% _{2}dx_{1}&\text{caso continuo.}\end{cases}

De forma análoga se extiende al caso nn-variante, dado un vector aleatorio (X1,…,Xn)(X_{1},\dots,X_{n}) y una función g:ℝn→ℝ,g:\mathbb{R}^{n}\to\mathbb{R}, si definimos

Y=g(X1,…,Xn)Y=g(X_{1},\dots,X_{n})

se tiene que

  • ​

    En el caso discreto:

    E(Y)=∑x1…∑xkg(x1,…,xn)f(x1,…,xk)E(Y)=\sum_{x_{1}}\dots\sum_{x_{k}}g(x_{1},\dots,x_{n})f(x_{1},\dots,x_{k})
  • ​

    En el caso continuo:

    E(Y)=∫−∞∞…∫−∞∞g(x1,…,xn)f(x1,…,xk)dxn…dx1E(Y)=\int_{-\infty}^{\infty}\dots\int_{-\infty}^{\infty}g(x_{1},\dots,x_{n})f(% x_{1},\dots,x_{k})\,dx_{n}\dots dx_{1}
Ejemplo III.3.

La función de masa conjunta de las variables aleatorias XX e YY es la que aparece en la siguiente tabla:

X−2−12Y00,100,340,20,30,1\begin{array}[]{c|c|c|c|}\lx@intercol\hfil\hfil\lx@intercol&\lx@intercol\hfil X% \hfil\lx@intercol\\ \cline{2-4}\cr&-2&-1&2\\ \hline\cr Y\quad 0&0{,}1&0&0{,}3\\ \hline\cr 4&0{,}2&0{,}3&0{,}1\\ \hline\cr\end{array}

Hallar E(YX)E\left(\frac{Y}{X}\right) y E(X×Y)E(X\times Y) y compararlas con E(Y)E(X)\frac{E(Y)}{E(X)} y E(X)×E(Y)E(X)\times E(Y), respectivamente.

Solucion:

E(YX)\displaystyle E\left(\frac{Y}{X}\right)
=0−2×0,1+0−1×0+02×0,3+4−2×0,2+⋯=−1,4,\displaystyle{}=\frac{0}{-2}\times 0{,}1+\frac{0}{-1}\times 0+\frac{0}{2}% \times 0{,}3+\frac{4}{-2}\times 0{,}2+\dots=-1{,}4,
E(X×Y)\displaystyle E(X\times Y)
=0×(0,1+0+0,3)+(−2)×4×0,2+⋯=−2.\displaystyle{}=0\times(0{,}1+0+0{,}3)+(-2)\times 4\times 0{,}2+\dots=-2% \mathchar 46\relax

Por otra parte,

E(X)\displaystyle E(X)
=(−2)×0,3+(−1)×0,3+2×0,4=−0,1,\displaystyle{}=(-2)\times 0{,}3+(-1)\times 0{,}3+2\times 0{,}4=-0{,}1,
E(Y)\displaystyle E(Y)
=0×0,4+4×0,6=2,4.\displaystyle{}=0\times 0{,}4+4\times 0{,}6=2{,}4\mathchar 46\relax

Luego

E(YX)=−1,4≠−24=E(Y)E(X),E\left(\frac{Y}{X}\right)=-1{,}4\neq-24=\frac{E(Y)}{E(X)},

y

E(X×Y)=−2≠−0,24=−0,1×2,4=E(X)×E(Y).E(X\times Y)=-2\neq-0{,}24=-0{,}1\times 2{,}4=E(X)\times E(Y)\mathchar 46\relax

El ejemplo anterior muestra que, en general, la esperanza del producto de variables no tiene por que coincidir con el producto de las esperanzas.

Sin embargo, si que se puede demostrar lo siguiente:

Proposición III.1.

Sean X1X_{1} y X2X_{2} v. a. independientes. Entonces

E(X1×X2)=E(X1)×E(X2)E(X_{1}\times X_{2})=E(X_{1})\times E(X_{2})
Definición III.10 (Covarianza).

Sean XX e YY variables aleatorias. Si denotamos por μX=E(X)\mu_{X}=E(X) y μY=E(Y)\mu_{Y}=E(Y), se define como la esperanza de la funcion

g(x,y)=(x−μX)(y−μY)g(x,y)=(x-\mu_{X})(y-\mu_{Y})

es decir

Cov(X,Y)=E[(X−μX)(Y−μY)]Cov(X,Y)=E[(X-\mu_{X})(Y-\mu_{Y})]

Una formula alternativa para la covarianza es

Cov(X,Y)=E[XY]−E[X]E[Y]=E[XY]−μXμYCov(X,Y)=E[XY]-E[X]E[Y]=E[XY]-\mu_{X}\mu_{Y}

La covarianza de XX e YY mide la relacion lineal de ambas variables.

  • ​

    Cuando toma valor positivo es porque predominan valores de XX, YY grandes a la vez, o ambos pequeños a la vez.

  • ​

    Cuando es negativo, resulta que XX es grande e YY pequeño a la vez, o viceversa.

Cuando no existe ninguna relacion de tipo lineal entre XX e YY, es decir, cuando Cov(X,Y)=0Cov(X,Y)=0, decimos que XX e YY son incorrelacionadas.

Observación III.2.

Debemos tener en cuenta que la covarianza solo mide las relaciones lineales. Dos variables aleatorias incorrelacionadas pueden tener una relacion cuadratica, exponencial, logaritmica u otras.

Proposición III.2.

Sean XX e YY variables aleatorias independientes. Entonces son incorrelacionadas, es decir, Cov(X,Y)=0Cov(X,Y)=0.

Lo contrario no se cumple, como veremos en el siguiente ejemplo.

Ejemplo III.4.

La función de masa conjunta de las variables aleatorias AA e BB es la que aparece en la siguiente tabla:

A−10100,10,10,1100,20,30,2\begin{array}[]{|c|c|c|c|}\lx@intercol\hfil\hfil\lx@intercol&\lx@intercol\hfil A% \hfil\lx@intercol\\ \cline{1-4}\cr&-1&0&1\\ \hline\cr 0&0{,}1&0{,}1&0{,}1\\ \hline\cr 10&0{,}2&0{,}3&0{,}2\\ \hline\cr\end{array}
  • ​

    AA y BB son variables aleatorias incorrelacionadas, ya que

    E(A)=0;E(B)=7;E(A×B)=0,E(A)=0;\quad E(B)=7;\quad E(A\times B)=0,

    y por consiguiente

    Cov(A,B)=E[A×B]−E[A]×E[B]=0−0×7=0.Cov(A,B)=E[A\times B]-E[A]\times E[B]=0-0\times 7=0\mathchar 46\relax
  • ​

    Sin embargo, las variables AA y BB no son independientes, ya que, por ejemplo

    0,1=P(A=−1,B=0)≠P(A=−1)×P(B=0)=0,3×0,3=0,090,1=P(A=-1,B=0)\neq P(A=-1)\times P(B=0)=0,3\times 0,3=0,09

Ademas, la covarianza entre dos variables varia si cambiamos las unidades en las que las medimos. Por ejemplo, si XX esta expresada en gramos, su covarianza con cualquier otra variable YY sera 10001000 veces mayor que la covarianza entre esa misma variable expresada en kilos e YY.

Por ello, tiene sentido fijarse en el signo de la covarianza, pero su valor absoluto no resulta de utilidad.

Definición III.11 (Correlacion).

Sean XX e YY variables aleatorias. Definimos su correlacion como

ρX,Y=Cov(X,Y)σXσY\rho_{X,Y}=\frac{Cov(X,Y)}{\sigma_{X}\sigma_{Y}}

donde σX\sigma_{X} y σY\sigma_{Y} son las desviaciones tipicas de XX e YY, respectivamente.

El coeficiente de correlacion ρX,Y\rho_{X,Y} mide el grado de asociacion lineal que hay entre las variables y toma valores en el intervalo [−1,1][-1,1].

  • ​

    Valores cercanos a 11 indican relacion lineal directa.

  • ​

    Valores cercanos a −1-1 indican relacion lineal inversa.

  • ​

    Valores cercanos a 0 indican ausencia de relacion lineal.

Recordemos que, si XX es una variable aleatoria, y a,b∈ℝa,b\in\mathbb{R} son constantes, entonces

E(aX+b)\displaystyle E(aX+b)
=aE(X)+b\displaystyle{}=aE(X)+b
V(aX+b)\displaystyle V(aX+b)
=a2V(X)\displaystyle{}=a^{2}V(X)
Proposición III.3.

Sean X1,X2X_{1},X_{2} variables aleatorias y a1,a2∈ℝa_{1},a_{2}\in\mathbb{R} constantes. Entonces

E(a1X1+a2X2)\displaystyle E(a_{1}X_{1}+a_{2}X_{2})
=a1E(X1)+a2E(X2),\displaystyle{}=a_{1}E(X_{1})+a_{2}E(X_{2}),
V(a1X1+a2X2)\displaystyle V(a_{1}X_{1}+a_{2}X_{2})
=a21V(X1)+a22V(X2)+2a1a2Cov(X1,X2)\displaystyle{}=a^{2}_{1}V(X_{1})+a^{2}_{2}V(X_{2})+2a_{1}a_{2}Cov(X_{1},X_{2})
Demostración.

Pendiente. ∎

Con esto, obtenemos los siguientes resultados:

  • ​

    Para la suma de dos variables aleatorias:

    E(X1+X2)\displaystyle E(X_{1}+X_{2})
    =E(X1)+E(X2),\displaystyle{}=E(X_{1})+E(X_{2}),
    V(X1+X2)\displaystyle V(X_{1}+X_{2})
    =V(X1)+V(X2)+2×Cov(X1,X2),\displaystyle{}=V(X_{1})+V(X_{2})+2\times Cov(X_{1},X_{2}),
  • ​

    Para la diferencia de dos variables aleatorias:

    E(X1−X2)\displaystyle E(X_{1}-X_{2})
    =E(X1)−E(X2),\displaystyle{}=E(X_{1})-E(X_{2}),
    V(X1−X2)\displaystyle V(X_{1}-X_{2})
    =V(X1)+V(X2)−2×Cov(X1,X2),\displaystyle{}=V(X_{1})+V(X_{2})-2\times Cov(X_{1},X_{2}),
  • ​

    Para el promedio de dos variables aleatorias:

    E(X1+X22)\displaystyle E\left(\frac{X_{1}+X_{2}}{2}\right)
    =E(X1)+E(X2)2,\displaystyle{}=\frac{E(X_{1})+E(X_{2})}{2},
    V(X1+X22)\displaystyle V\left(\frac{X_{1}+X_{2}}{2}\right)
    =V(X1)+V(X2)+2×Cov(X1,X2)4,\displaystyle{}=\frac{V(X_{1})+V(X_{2})+2\times Cov(X_{1},X_{2})}{4},

Ademas, cuando X1X_{1} y X2X_{2} son independientes, las ecuaciones se simplifican al tener covarianza nula.

Cuando ademas de ser independientes X1X_{1} y X2X_{2} tienen la misma esperanza μ\mu y la misma varianza σ2\sigma^{2}, entonces se simplifican aun mas las expresiones:

E(X1+X2)\displaystyle E(X_{1}+X_{2})
=2μ\displaystyle{}=2\mu
V(X1+X2)\displaystyle V(X_{1}+X_{2})
=2σ2\displaystyle{}=2\sigma^{2}
E(X1+X22)\displaystyle E\left(\frac{X_{1}+X_{2}}{2}\right)
=μ+μ2=μ,\displaystyle{}=\frac{\mu+\mu}{2}=\mu,
V(X1+X22)\displaystyle V\left(\frac{X_{1}+X_{2}}{2}\right)
=σ2+σ24=σ22\displaystyle{}=\frac{\sigma^{2}+\sigma^{2}}{4}=\frac{\sigma^{2}}{2}

Esta situacion aparece siempre que las variables XX e YY son realizaciones independientes de una distribucion comun, es decir, cuando son variables independientes e identicamente distribuidas, denotado como

X,Y i.i.d.X,Y\text{ i.i.d.}

Cuando se extraen al azar muestras de una poblacion, lo habitual es que las observaciones se escojan de manera independiente unas de otras. Ademas, como todas las observaciones proceden de la misma poblacion, constituyen realizaciones de una variable aleatoria comun, es decir, tienen identica distribucion.

Por tanto, las observaciones de la muestra constituyen una coleccion de variables aleatorias i.i.d.