8 Convergencia y Teorema del Límite Central

Definición III.21.

Una secuencia $X_{1},X_{2},\ldots$ converge en probabilidad a $X$ si, para todo $\epsilon>0$ :

\mathop{\operator@font l\acute{{\imath}}m}\limits_{n\to\infty}P(\left|X_{n}-X% \right|<\epsilon)=1

o equivalentemente

\mathop{\operator@font l\acute{{\imath}}m}\limits_{n\to\infty}P(\left|X_{n}-X% \right|\geq\epsilon)=0

La idea es que la probabilidad de que $X_{n}$ se aleje de $X$ mas de $\epsilon$ tiende a cero.

Definición III.22.

Una secuencia $X_{1},X_{2},\dots$ converge casi seguro a $X$ si

P\left(\mathop{\operator@font l\acute{{\imath}}m}_{n\to\infty}|X_{n}-X|=0% \right)=1

La convergencia casi segura es más fuerte que la convergencia en probabilidad:

\boxed{X_{n}\xrightarrow{\text{c.s.}}X\implies X_{n}\xrightarrow{p}X}

Ejemplo III.11.

Sea el espacio muestral $\Omega=[0,1]$ con distribucion uniforme y

X_{n}(\omega)=\omega+\frac{\omega}{n}\qquad X(\omega)=\omega

Para todo $\omega\in[0,1]$ :

X_{n}(\omega)\longrightarrow X(\omega)

Por tanto

X_{n}\overset{\text{c.s.}}{\longrightarrow}X

Ejemplo III.12.

Sea $X\sim U(0,1)$ y consideremos intervalos binarios de la forma

I_{1}=[0,1],I_{2}=[0,\frac{1}{2}],I_{3}=[\frac{1}{2},1],I_{4}=[0,\frac{1}{4}],% \ldots,I_{7}=[\frac{3}{4},1],I_{8}=[0,\frac{1}{8}]\mathchar 46\relax\ldots

es decir,

I_{2^{m}+i}=\left[\frac{i}{2^{m}},\frac{i+1}{2^{m}}\right],\text{ para }m=0,1,% \ldots,\text{ e }i=0,1,2^{m-1}

Es decir, para un $m$ fijo los $2^{m}$ intervalos de anchura $2^{-m}$ cubren el intervalo $[0,1]$ . Definimos $Y_{n}=1$ si $X\in I_{n}$ e $Y_{n}=0$ si $X\notin I_{n}$ .

La secuencia $Y_{1},\ldots,Y_{n},\ldots$ converge en probabilidad a $Y=0$ , ya que $\forall 0<\epsilon\leq 1$ ,

P(\left|Y_{n}-0\right|\geq\epsilon)=P(Y_{n}=1)=P(X\in I_{n})=\text{longitud % intervalo }I_{n}\to 0,\text{ cuando }n\to\infty

Sin embargo la secuencia no converge casi seguro a $Y$ , ya que para cada $\omega\in[0,1]$ , $Y_{n}$ asume el valor $1$ en un conjunto infinito de puntos (el intervalo $I_{n}$ ) y $0$ en otro conjunto infinito no numerable de puntos.

Definición III.23.

Una secuencia $X_{1},X_{2},\ldots$ converge en distribucion a $X$ si

\mathop{\operator@font l\acute{{\imath}}m}\limits_{n\to\infty}F_{X_{n}}(x)=F_{% X}(x)

en todos los puntos $x$ donde $F_{X}$ es continua.

La convergencia en distribucion describe la convergencia de las distribuciones de las variables aleatorias.

Proposición III.6.

La convergencia en probabilidad implica convergencia en distribucion:

X_{n}\overset{P}{\rightarrow}X\Rightarrow X_{n}\overset{d}{\rightarrow}X

Teorema III.1 (Ley débil de los grandes números).

Sean $X_{1},X_{2},\ldots$ variables aleatorias i.i.d. tales que

E(X_{i})=\mu\qquad V(X_{i})=\sigma^{2}<\infty

Entonces, la media muestral $\overline{X_{n}}=\frac{1}{n}\sum_{i=1}^{n}X_{i}$

Converge en probabilidad a la media poblacional:

$\overline{X_{n}}\overset{P}{\rightarrow}\mu$
Equivalentemente, para todo $\epsilon>0$ ,

$\mathop{\operator@font l\acute{{\imath}}m}\limits_{n\to\infty}P(\left|% \overline{X_{n}}-\mu\right|<\epsilon)=1$

Demostración.

Por la desigualdad de Chebyshev,

P(\left|X-E(X)\right|\geq k)\leq\frac{V(X)}{k^{2}}

Aplicandola a $\overline{X_{n}}$ ,

P(\left|\overline{X_{n}}-\mu\right|\geq\epsilon)\leq\frac{V(\overline{X_{n}})}% {\epsilon^{2}}

Como $V(\overline{X_{n}})=\frac{\sigma^{2}}{n}$ , obtenemos

P(\left|\overline{X_{n}}-\mu\right|<\epsilon)=1-P(\left|\overline{X_{n}}-\mu% \right|\geq\epsilon)\geq 1-\frac{\sigma^{2}}{n\epsilon^{2}}\to 1,\text{ si }n\to\infty

∎

Si la media muestral converge en probabilidad a la media poblacional, esto implica que, al aumentar el tamaño de la muestra, la probabilidad de que $\overline{X_{n}}$ se aleje de $\mu$ disminuye. Esta propiedad se denomina consistencia del estimador.

Teorema III.2 (Ley fuerte de los grandes números).

Sean $X_{1},X_{2},\ldots$ variables aleatorias i.i.d. tales que:

E(X_{i})=\mu\qquad V(X_{i})=\sigma^{2}<\infty

Entonces, la media muestral $\overline{X}_{n}=\frac{1}{n}\sum_{i=1}^{n}X_{i}$

Converge casi seguro a la media poblacional,

$\overline{X}_{n}\overset{c\mathchar 46\relax s\mathchar 46\relax}{% \longrightarrow}\mu$
Equivalentemente, para todo $\epsilon>0$ ,

$P(\mathop{\operator@font l\acute{{\imath}}m}\limits_{n\to\infty}\left|% \overline{X}_{n}-\mu\right|<\epsilon)=1$

La ley fuerte implica la ley debil.

Teorema III.3 (Teorema del Límite Central (TLC)).

Sean $X_{1},X_{2},\ldots$ variables aleatorias i.i.d. con $E(X_{i})=\mu$ , $\operatorname{Var}(X_{i})=\sigma^{2}<\infty$ . Definimos la media muestral

\overline{X_{n}}=\frac{1}{n}\sum_{i=1}^{n}X_{i}

y sea $G_{n}(x)$ la función de distribución de la variable aleatoria $\frac{\overline{X_{n}}-\mu}{\sigma/\sqrt{n}}$ .

Entonces para todo $-\infty<x<\infty$ :

\mathop{\operator@font l\acute{{\imath}}m}_{n\to\infty}G_{n}(x)=\Phi(x)=\int_{% -\infty}^{x}\frac{1}{\sqrt{2\pi}}e^{-\frac{y^{2}}{2}}dy

y la variable aleatoria converge en distribución a la normal estándar:

\frac{\overline{X_{n}}-\mu}{\sigma/\sqrt{n}}\xrightarrow{d}N(0,1)

Interpretación: Para $n$ suficientemente grande, la distribución de la media muestral es aproximadamente normal. Como $E(\overline{X_{n}})=\mu$ y $\operatorname{Var}(\overline{X_{n}})=\frac{\sigma^{2}}{n}$ , tenemos aproximadamente:

\overline{X_{n}}\approx N\left(\mu,\frac{\sigma^{2}}{n}\right)

La aproximación es válida para muchas distribuciones poblacionales, siempre que se cumplan las condiciones del TLC.

Aunque se trata de un resultado muy importante en la estadística, en general no sabemos cómo de rápido se da esta convergencia a la normalidad. Es necesario comprobar esto distribución por distribución.

Ejemplo III.13.

Sea $X\sim\operatorname{Exp}(0{,}1)$ (variable aleatoria que sigue distribución exponencial con media 10). Con:

E(X)=10\qquad\operatorname{Var}(X)=100

Generamos muchas muestras independientes de tamaño $n$ y calculamos la media de cada muestra:

\overline{X_{n}}=\frac{X_{1}+\dots+X_{n}}{n}\mathchar 46\relax

Por el TLC, para $n$ suficientemente grande:

\overline{X_{n}}\approx N\left(10,\frac{100}{n}\right)

Para $n=25$ :

\overline{X}_{25}\approx N(10,4)

La distribución original es exponencial y, por tanto, no es normal. Sin embargo, al repetir el experimento muchas veces y representar las medias muestrales, observamos que su distribución se aproxima a una normal:

X\sim\operatorname{Exp}(0{,}1)\implies\overline{X}_{25}\approx N(10,4)

Además, los valores teóricos son:

E(\overline{X}_{25})=10\qquad\operatorname{Var}(\overline{X}_{25})=4\mathchar 46\relax

Al aumentar $n$ , la distribución de $\overline{X_{n}}$ se concentra alrededor de $\mu=10$ y se aproxima cada vez más a una normal.

El TLC permite aproximar la distribución muestral de determinados estadísticos cuando $n$ es grande. Estudiaremos ahora las distribuciones muestrales de la media muestral, la proporción muestral y la varianza muestral (las propiedades de esperanza y varianza de estos estadísticos fueron obtenidas anteriormente).

Distribución muestral de la media: Si $X_{1},\ldots,X_{n}$ es una m.a.s. con:

E(X)=\mu\qquad\operatorname{Var}(X)=\sigma^{2}<\infty

Entonces:

E(\overline{X})=\mu\qquad\operatorname{Var}(\overline{X})=\frac{\sigma^{2}}{n}% \mathchar 46\relax

Si $n$ es suficientemente grande, por el TLC:

\overline{X}\approx N\left(\mu,\frac{\sigma^{2}}{n}\right)

Si la población es normal, la distribución de $\overline{X}$ es normal para cualquier $n$ :

X_{i}\sim N(\mu,\sigma^{2})\implies\overline{X}\sim N\left(\mu,\frac{\sigma^{2% }}{n}\right)\mathchar 46\relax

Distribución muestral de la proporción: Si $X_{i}\overset{\text{i.i.d.}}{\sim}\operatorname{Bernoulli}(p)$ , entonces:

N=\sum_{i=1}^{n}X_{i}\sim\operatorname{Binomial}(n,p)\mathchar 46\relax

Como $\widehat{p}=\frac{N}{n}$ , la distribución exacta de $\widehat{p}$ se obtiene de la distribución binomial. Además:

E(\widehat{p})=p\qquad\operatorname{Var}(\widehat{p})=\frac{p(1-p)}{n}

Aproximación normal: Para $n$ suficientemente grande, la distribución de $\widehat{p}$ es aproximadamente normal:

\widehat{p}\approx N\left(p,\frac{p(1-p)}{n}\right)

Equivalentemente:

\frac{\widehat{p}-p}{\sqrt{p(1-p)/n}}\approx N(0,1)

Distribución muestral de la varianza: Para una m.a.s. de una población con:

E(X)=\mu\qquad\operatorname{Var}(X)=\sigma^{2}<\infty

Sabemos que:

E(S^{2})=\sigma^{2}

En general, la distribución de $S^{2}$ depende de la distribución de la población y del tamaño $n$ . La distribución de $S^{2}$ suele ser asimétrica y su convergencia a una distribución normal es lenta.

Proposición III.7 (Caso normal).

Para poblaciones normales, si $X_{i}\overset{\text{i.i.d.}}{\sim}N(\mu,\sigma^{2})$ , entonces:

\frac{(n-1)S^{2}}{\sigma^{2}}\sim\chi^{2}_{n-1}

Los grados de libertad de la distribución $\chi^{2}$ son $n-1$ .

Además, en el caso de una población normal:

\overline{X}\text{ y }S^{2}\text{ son independientes}\mathchar 46\relax

Definición III.24.

Si $Z$ es una variable aleatoria con distribución normal estándar:

Z\sim N(0,1)

A la distribución de la variable $Z^{2}$ se le da el nombre de chi cuadrado con un grado de libertad ( $\chi^{2}_{1}$ ):

Z^{2}\sim\chi^{2}_{1}

La función de densidad de esta variable aleatoria es:

f(t)=\begin{cases}0&\text{si }t<0\\ \frac{1}{\sqrt{2\pi t}}e^{-\frac{t}{2}}&\text{si }t\geq 0\end{cases}

Proposición III.8 (Propiedades de

\chi^{2}_{k}

propiedades

1.

Si $Z_{1},\ldots,Z_{k}$ son independientes y $Z_{i}\sim\chi^{2}_{1}$ , entonces:

$Z_{1}^{2}+\cdots+Z_{k}^{2}\sim\chi^{2}_{k}\mathchar 46\relax$

El parámetro $k$ se denomina grados de libertad.
2.

Si $Y\sim\chi^{2}_{k}$ , entonces:

$E(Y)=k\qquad\operatorname{Var}(Y)=2k\mathchar 46\relax$

$\chi^{2}$ depende únicamente de sus grados de libertad $k$ . En particular:

\frac{(n-1)S^{2}}{\sigma^{2}}\sim\chi^{2}_{n-1}\mathchar 46\relax

\topruleEstadístico	Distribución / aproximación	Parámetros
\midrule $\overline{X}$	$N\left(\mu,\frac{\sigma^{2}}{n}\right)$	si $X$ es normal
$\overline{X}$	$\approx N\left(\mu,\frac{\sigma^{2}}{n}\right)$	si $n$ es grande
$\widehat{p}$	binomial transformada	$np$
$\widehat{p}$	$\approx N\left(p,\frac{p(1-p)}{n}\right)$	si $n$ es grande
$S^{2}$	$\chi^{2}_{n-1}$	si $X$ es normal
\bottomrule