Curso Inferencia

Estad́ıstica

Miguel

´

Angel Chong R.

miguel@sigma.iimas.unam.mx

24 de septiembre del 2013

Miguel Chong Inferencia

Suficiencia

Cuando hacemos inferencia sobre un parámetro ✓, usando unamuestra aleatoria (X

1

, . . . ,Xn

) y un estad́ıstico

ˆ✓ (X1

, . . . ,Xn

) que

resume la información proporcionada por la muestra. Podŕıamos

preguntarnos lo siguiente:

¿El resumen que realiza

ˆ✓ (X1

, . . . ,Xn

) con respecto a (X

1

, . . . ,Xn

)

es tal que no se pierde información que pudiera contener la

muestra acerca del (los) parámetro(s) poblacional(es)?

Según Fisher, un estad́ıstico es suficiente para hacer inferencia

sobre un parámetro ✓, si resume el conjunto de informaciónrelevante suministrada por la muestra y ningún otro estad́ıstico

(otra función de la muestra) puede proporcionar información

adicional a cerca del parámetro desconocido ✓.

Miguel Chong Inferencia

Definición Estad́ıstico suficiente

Un estad́ıstico es suficiente respecto al parámetro ✓ si ladistribución de probabilidad de la muestra (X

1

, . . . ,Xn

)

condicionada al estad́ıstico no depende del parámetro ✓, es decir

F

⇣(X

1

, . . . ,Xn

) |ˆ✓ (X1

, . . . ,Xn

)

⌘= t) no depende de ✓ .

Miguel Chong Inferencia

Existe otra manera que nos permitirá de manera más fácil decir si

un estad́ıstico es suficiente.

Teorema de Factorización

Una condición necesaria y suficiente para que el estad́ıstico

ˆ✓ (X )sea suficiente, es que la función de verosimilitud de la muestra la

podamos escribir de la siguiente forma

L(✓;X ) =nY

i=1

f (x

i

; ✓)

= g

⇣ˆ✓ (X ) ; ✓

⌘· h(X )

donde g(

ˆ✓ (X ) ; ✓) depende del parámetro y de la muestra, a travésdel estad́ıstico

ˆ✓ (X ), y h(X ) no depende de ✓.

Miguel Chong Inferencia

Teorema Si el estad́ıstico

ˆ✓1

(X ) es suficiente y existe una función inyectiva tal

que

ˆ✓2

(X ) = f⇣ˆ✓1

(X )⌘entonces el estad́ıstico

ˆ✓2

(X ) es también suficiente.

Demostración Por ser f inyectiva tenemos que si ˆ✓2

(X ) = f⇣ˆ✓1

(X )⌘

entonces está bien definida

ˆ✓1

(X ) = f �1⇣ˆ✓2

(X )⌘.

Por otro lado como

ˆ✓1

(X ) es suficiente tenemos que

L(✓;X) = g⇣ˆ✓1

(X ) ; ✓⌘· h(X )

= g⇣f �1

⇣ˆ✓2

(X )⌘; ✓⌘· h(X )

= g1

⇣ˆ✓2

(X ) ; ✓⌘· h(X ),

donde g1

⇣ˆ✓2

(X ) ; ✓⌘= g � f �1

⇣ˆ✓2

(X ) ; ✓⌘. Entonces ˆ✓

2

(X ) es suficiente para

✓.

⇤

De manera intuitiva podŕıamos entender este resultado como, si

ˆ✓1

(X ) sepuede calcularse a partir de

ˆ✓2

(X ), entonces el conocimiento de ˆ✓2

(X ), debeser al menos tan bueno como el de

ˆ✓1

(X ).

Miguel Chong Inferencia

Notemos que un rećıproco al último teorema seŕıa el siguiente:

Si los estad́ısticos estadisticos

ˆ✓1

(X ) y

ˆ✓2

(X ) son suficientes para

el parámetro ✓ entonces están relacionados funcionalmente, esdecir uno se puede ver como una función del otro.

Miguel Chong Inferencia

Ahora si una distribución depende de dos parámetros ✓1

y ✓2

, también podemos

encontrar v́ıa el criterio de factorización estimadores suficientes

ˆ✓1

(X ) y

ˆ✓2

(X ) para

✓1

y ✓2

respectivamente, esto es lo que nos dice el siguiente resultado.

Teorema

Los estad́ısticos

ˆ✓1

(X ) y

ˆ✓2

(X ) son conjuntamente suficientes para ✓1

y ✓2

respectivamente si solo si

L(✓1

, ✓2

;X ) = g

1

⇣ˆ✓1

(X ) , ˆ✓2

(X ) ; ✓1

, ✓2

⌘· h(X)

donde

g

1

⇣ˆ✓1

(X ) ; ✓1

⌘depende del parámetro ✓

1

y de la muestra, a través del estad́ıstico

ˆ✓1

(X ),

g

2

⇣ˆ✓2

(X ) ; ✓2

⌘depende del parámetro ✓

2

y de la muestra, a través del estad́ıstico

ˆ✓2

(X ) y

h(X ) no depende de ✓.

Miguel Chong Inferencia

Suficiencia Minimal

A continuación veremos un método general para encontrar un

estad́ıstico que resuma la información de la muestra lo más posible

y sin pérdida de información sobre el parámentro ✓, y a esteestad́ıstico lo llamaremos suficiente minimal.

Definición Estad́ıstico suficiente y minimal

Un estimador es suficiente minimal, si es suficiente y cualquier

reducción de la información definida por el ya no es suficiente, es

decir desprecia información que está contenida en la muestra,

acerca del parámetro ✓.

Miguel Chong Inferencia

Existe un método general

1

para encontrar estad́ıstico(s)

suficiente(s) minimal(es), este método supone la existencia de dos

muestras aleatorias de tamaño n, X = (X

1

= x

1

, . . . ,Xn

= x

n

) y

Y = (Y

1

= y

1

, . . . ,Yn

= y

n

), y se calcula el cociente de sus

verosimilitudes, es decir

Qn

i=1

f (x

i

; ✓)Qn

i=1

f (y

i

; ✓)=

L(✓;X )

L(✓;X )=

g

⇣ˆ✓ (X ) ; ✓

⌘· h (X )

g

⇣ˆ✓ (Y ) ; ✓

⌘· h (Y )

.

Para que esta última igualdad no dependa del parámetro ✓necesitamos que

g

⇣ˆ✓ (X ) ; ✓

⌘= g

⇣ˆ✓ (Y ) ; ✓

⌘,

y entonces diremos que

ˆ✓ (X ) es suficiente y minimal para ✓.

1

Debido a Lehmann y She↵é

Miguel Chong Inferencia

Teorema de Rao-Blackwell

Sea una población con función de densidad f (x ; ✓) y sea ˆ✓ un estimadorinsesgado para el parámetro ✓ y T un estad́ıstico suficiente del mismoparámetro ✓. Entonces si hacemos:

g(T ) = Ehˆ✓|T

i

se verifica:

1

g(T ) es un estad́ıstico y es función del estad́ıstico suficiente.

2 E [g(T )] = ✓.3

Var (g (T )) Var⇣ˆ✓⌘.

Es decir, el estad́ıstico g(T ) es función del estad́ıstico suficiente, es un

estimador insesgado de ✓ y su varianza es menor que la del estimadorinsesgado ✓.

Miguel Chong Inferencia

Completitud

Definición Familia completa

Una familia de distribuciones {F (x ; ✓)} es completa si paracualquier función h(x) la identidad:

E [h(x)] = 0 entonces P (h(x) = 0) = 1

en todos los puntos para los cuales f (x ; ✓) > 0 para algún ✓.

Esta definición nos indica que una familia de distribuciones es

completa si el único estimador insesgado de cero es el mismo cero.

Miguel Chong Inferencia

Un estad́ıstico T es completo si la correspondiente familia de

distribuciones de T es completa. Aśı pues se pone de manifiesto

que la propiedad de completitud es una propiedad de la familia de

distribuciones.

Definición Estad́ıstico suficiente completo.

Diremos que un estad́ıstico suficiente T es completo, si la familia

de distribuciones del estad́ıstico suficiente T es completa.

Miguel Chong Inferencia

Teorema de Lehmann-Sche↵é

Si T es un estad́ıstico suficiente y completo para ✓, y si existe unestimador insesgado

ˆ✓, del parámetro ✓, entonces existe un únicoestimador UMVUE dado por

g(T ) = Ehˆ✓|T

i

Miguel Chong Inferencia

La familia exponencial

Existe una clase o familia de distribuciones en la que todos los

parámetros de las distribuciones que la integran tienen estad́ısticos

suficientes. Este grupo de distribuciones recibe el nombre de familia

exponencial de distribuciones, y como veremos será bastante fácil

obtener estad́ısticos suficientes del parámetro con esta familia.

Miguel Chong Inferencia

Definición Familia exponencial de distribuciones uniparamétrica.

Diremos que una familia de distribuciones es exponencial

uniparamétrica si la forma de la función de masa de probabilidad

P (X = x) en el caso discreto o la densidad densidad f (x ; ✓) sepuede factorizar de la siguiente forma

f (x ; ✓) = a (✓) b (x) ec(✓)d(x),

donde:

a (✓) y c (✓) son funciones reales de ✓ y

b (x) y d (x) son funciones reales de x .

Miguel Chong Inferencia

A partir de un elemento de la familia exponencial podemos encontrar estimadores

suficientes y minimal usando el método de Lehmann y Sche↵é para obtener un

estad́ıstico suficiente y minimal de la familia exponencial

Supongamos que tenemos dos muestras

(X

1

, . . . ,Xn

) (Y

1

, . . . ,Yn

) .

Notemos que la verosimilitud con respecto a la primera muestra la podemos escribir

como

L (x

1

, . . . , xn

; ✓) = f (x1

, . . . , xn

; ✓) =nY

i=1

f (x

i

; ✓)

=

nY

i=1

a (✓) b (xi

) e

c(✓)d(xi

)

= a

n

(✓)nY

i=1

b (x

i

) e

c(✓)

nX

i=1

d(x

i

)

.

De forma análoga tenemos que para la segunda muestra

L (y

1

, . . . , yn

; ✓) = an (✓)nY

i=1

b (y

i

) e

c(✓)

nX

i=1

d(y

i

)

.Miguel Chong Inferencia

Por lo tanto el cociente de verosimilitudes queda como

L (x

1

, . . . , xn

; ✓)

L (y

1

, . . . , yn

; ✓)=

a

n

(✓)Q

n

i=1

b (x

i

) e

c(✓)

nX

i=1

d(x

i

)

a

n

(✓)Q

n

i=1

b (y

i

) e

c(✓)

nX

i=1

d(y

i

)

.

=

Qn

i=1

b (x

i

)

Qn

i=1

b (y

i

)

e

c(✓)

0

B@

nX

i=1

d(x

i

)�nX

i=1

d(y

i

)

1

CA

,

entonces el cociente de verosimilitudes no dependerá de ✓, siempre quenX

i=1

d (x

i

)�nX

i=1

d (y

i

) = 0, o equivalentemente si

nX

i=1

d (x

i

) =

nX

i=1

d (y

i

), y por lo tanto

nX

i=1

d (x

i

) es el estad́ıstico suficiente y minimal.

Miguel Chong Inferencia

Definición Estimador invariante.

Un estimador

ˆ✓ del parámetro ✓ es invariante si una función delestimador

ˆ✓, es igual a la función del estimador del parámetro

f (

ˆ✓) = df (✓).

Miguel Chong Inferencia