Analis de Regresion Multiple Inferencia

8/16/2019 Analis de Regresion Multiple Inferencia

1/72

Análisis de Regresión Múltiple: Inferencia

Carlos Velasco1

1Departamento de EconomíaUniversidad Carlos III de Madrid

Econometría IMáster en Economía Industrial

Universidad Carlos III de MadridCurso 2007/08

C Velasco (MEI, UC3M) Análisis de Regresión Múltiple: Inferencia UC3M, 2006 1 / 72

http://find/


2/72

Resumen

1 Distribuciones muestrales de los Estimadores MCO2 Contraste de Hipótesis sobre un único parámetro poblacional: el

test de la t

3 Intervalos de Conanza4 Contraste de hipótesis acerca de una única combinación lineal de

parámetros

5 Contraste de múltiples restricciones lineales: el contraste de la F

6 Presentación de resultados de regresión


http://find/


3/72

Contraste de hipótesis sobre los parámetros delmodelo de regresión poblacional

Distribución en el muestreo de los EMCO (normalidad).Contraste de hipótesis sobre parámetros individuales.Contraste de hipótesis sobre más de un parámetro.Contraste de restricciones múltiples (grupos de parámetros).


http://find/


4/72

1. Distribuciones muestrales de los Estimadores MCO

1 Distribuciones muestrales de los Estimadores MCO

2 Contraste de Hipótesis sobre un único parámetro poblacional: eltest de la t


parámetros

5 Contraste de múltiples restricciones lineales: el contraste de la F 6 Presentación de resultados de regresión


http://find/


5/72

Distribuciones muestrales de los Estimadores MCO

Hemos introducido supuestos que garantizan que los EMCO soninsesgados y el cálculo de sus varianzas bajo las condicionesde Gauss-Markov.La varianza y el valor esperado de los EMCO son útiles paradescribir su precisión .Para hacer inferencia estadística se necesita addemás conocer ladistribución muestral de los EMCO β̂ j .La distribución de los EMCO depende de la distribución de loserrrores.

LM.6 (Normalidad) El error poblacional u es independiente de lasvariables explicativas x 1, x 2, . . . , x k y se distribuye normalmentecon media cero y varianza σ2, u ∼ Normal 0, σ2 .


http://find/


6/72

Distribuciones muestrales de los EMCO

RLM.6 es un supuesto mucho más fuerte que los anteriores.Como u es independiente de x j ,

E (u |x 1, x 2, . . . , x k ) = E (u ) = 0Var (u |x 1, x 2, . . . , x k ) = Var (u ) = σ2,

por lo que implica RLM.3 y RLM.5.RLM.1-6 se nombran como los supuestos clásicos del modelode regresión lineal (MLC), y al modelo que satisface estossupuestos como el modelo lineal clásico : satisface lascondiciones de Gauss-Markov junto con el supuesto de

normalidad.Bajo MLC los EMCO β̂ 0, β̂ 1, . . . , β̂ k satisfacen una propiedad deeciencia más fuerte que bajo Gauss-Markov: los EMCO son loestimadores insesgados de mínima varianza (ya no se requiereque sean lineales).


http://find/http://goback/


7/72

Distribuciones muestrales de los EMCO

Un resumen de las condiciones MLC para el modelo poblacionaes

y |x ∼ Normal β 0 + β 1x 1 + β 2x 2 + · · · + β k x k , σ2 ,

donde x = ( x 1, x 2, . . . , x k ) .Justicación de la normalidad: como u es el resultado de lasuma de muchos factores inobservables que afectan a y , sepuede invocar el Teorema Central del Límite.


http://find/


8/72

Distribuciones muestrales de los EMCO (2)

Problemas : cada factor puede tener distribuciones muy distintasen la muestra.El TCL asume aditividad de esos factores.En la práctica, esta es una cuestión empírica, no hay resultadosque digan si wage |educ , exper , tenure es normal.Pero si se puede razonar que hay problemas: wage no puede sernegativo (ni menor que un salario mínimo), por lo que en principse puede pensar que la aproximación normal no es un buensupuesto.

Tampoco lo es narr 86, número de arrestos en 1986.A veces, ciertas transformaciones, como logs, hacen que lasdistribuciones se aproximen más a la normal.




9/72

Distribuciones muestrales de los EMCONormalidad de los errores se traslada a normalidad de las distribuciones muestrales dlos EMCO.

Teorema 4.1 (Distribuciones muestrales normales). Bajos lossupuestos MLC, RLM.1-6, condicional en los valores muestrales delas variables independientes,

β̂ j ∼ Normal β j , Var β̂ j ,

dondeVar β̂ j =

σ2

SST j 1 − R 2 j y por tanto

β̂ j − β j sd β̂ j

∼ Normal (0, 1) .


http://find/


10/72

Distribuciones muestrales de los EMCOPrueba: inmediata si tenemos en cuenta que

β̂ j − β j =n

i = 1w ij u i

donde w ij = r̂ ij / SSR j , y r̂ ij son los residuos de la regresión MCO

de x j sobre el resto de variables independientes y SSR j es lasuma de cuadrados de los residuos de dicha regresión.Por tanto podemos tomar w ij como jos y usar que la combinaciónlineal de normales independientes es también normal, con sucorrespondiente esperanza y varianza.La 2a conclusión es simplemente una estandarización de β̂

j .

Además obtenemos que cualquier combinación lineal deβ̂ 0, β̂ 1, . . . , β̂ k se distribuye también como una normal y quecualquier subconjunto de β̂ j también es normal.En el Tema 5 veremos que sin RLM.6 los β̂ j se distribuyenaproximadamente como normales en m ues tra s grandes .C Velasco (MEI, UC3M) Análisis de Regresión Múltiple: Inferencia UC3M, 2006 10 / 72

http://find/


11/72

2. Contraste de Hipótesis sobre un único parámetropoblacional: el test de la t



3 Intervalos de Conanza

4 Contraste de hipótesis acerca de una única combinación lineal deparámetros






12/72

Contraste de Hipótesis sobre un único parámetropoblacional: el test de la t

Modelo poblacional, bajo MLC,

y = β 0 + β 1x 1 + β 2x 2 + · · · + β k x k + u .

El problema es hacer contrastes de hipótesis sobre β j .β j es una propiedad desconocida de la población, y nunca laconoceremos con certeza, pero podemos hacer hipótesis sobresu valor, y hacer inferencia estadística para contrastar nuestrahipótesis.


http://find/


13/72

Contraste de Hipótesis sobre un único parámetropoblacional: el test de la t Teorema 4.2 (Distribución del estimador MCO estandarizado). Bajoslos supuestos MLC, RLM.1-6,

β̂ j − β j se β̂ j

∼ t n − k − 1,

donde k + 1 es el número de parámetros desconocidos en el modelopoblacional y = β 0 + β 1x 1 + β 2x 2 + · · · + β k x k + u .

Diferencias con el Teorema 4.1:

En el Teorema 4.1 teníamos que β̂ j − β j / sd β̂ j era N (0, 1) ,pero ahora se estima σ, por lo que la distribución es t .Entonces se puede escribir β̂ j − β j / se β̂ j como el cocientede una variable N (0, 1) y una χ 2n − k − 1, independientes.


d ó b ú á

http://find/


14/72

Contraste de Hipótesis sobre un único parámetropoblacional: el test de la t

El Teorema 4.2 es importante porque permite contrastar hipótesisobre β j .En la mayoría de las aplicaciones, el interés primordial escontrastar la hipótesis nula

H 0 : β j = 0.

Signicado: como β j mide el efecto parcial de x j sobre (el valoresperado de) y , después de controlar por todas las otrasvariables independientes, H0 signica que, una vez que se hatenido en cuenta x 1, . . . , x j − 1, x j + 1, . . . , x k , x j no tiene efectosobre el valor esperado de y .


http://find/


15/72

C d Hi ó i l d l


16/72

Contraste de Hipótesis: el test de la t Mecánica de contraste

Es similar al contraste de la media de la población.Incluye obtener los estimadores de los coecientes, sus erroresestándar, el estadístico de contraste, y los valores de contraste:todo esto lo hace el Eviews.El estadístico de contraste se llama estadístico t o cociente t ( t ratio) de β̂ j :

t ̂β j =β̂ j

se β̂ j .


C t t d Hi ót i l t t d l

http://find/


17/72

Contraste de Hipótesis: el test de la t ¿Porqué el estadístico t es razonable para contrastar H 0?

t ̂β j siempre tiene el signo de ˆβ j , porque se

ˆβ j es positivo.

Para un valor jo de se β̂ j , cuanto mayor β̂ j , mayor t ̂β j , en valorabsoluto.β̂ j es un estimador insesgado de β j , pero nunca será igual a cero,con H 0 cierta o falsa.La pregunta clave es, ¿está β̂ j cerca o lejos de cero?Un valor de β̂ j lejano de cero proporciona evidencia en contra deH 0, pero la estimación está sometida a un error de muestreo.t se (β̂ j ) mide cuántas desviaciones estándar estimadas está β̂ j decero.La regla de rechazo dependerá de la hipótesis alternativacorrespondiente y del nivel de signicación elegido.


C t t d Hi ót i l t t d l

http://find/


18/72

Contraste de Hipótesis: el test de la t Regla de rechazo

Determinar la regla de rechazo dado un nivel de signicación(probabilidad de rechazar H 0 cuando es cierta) requiereconocimiento de la distribución muestral de t ̂β j cuando H 0 esverdad: t n − k − 1.

Mantenemos el signo de t ̂β j para hacer hacer hipótesisunilaterales.Clave: contrastamos hipótesis sobre los parámetros poblaciones,no sobre los estimadores obtenidos para una muestra enparticular:Hipótesis absurdas:

H 0 : β̂ j = 0. H 0 : 0,434 = 0.


Contraste de Hipótesis: el test de la

http://find/


19/72

Contraste de Hipótesis: el test de la t Contraste de hipótesis unilaterales

H 1 : β j > 0.Esto signica que no nos preocupamos de alternativas de H 0 paralas que H 1 : β j < 0. Por alguna razón descartamos que β j < 0.Regla de decisión: necesitamos un nivel de signicación oprobabilidad de rechazar H 0 cuando es cierta (error de tipo I), porejemplo 5%.Como t ̂β j . se distribuye como una t bajo H 0, por lo que tiene mediacero, bajo la alternativa β j > 0, el valor esperado de t ̂β j es

positivo: buscamos un valor sucientemente grande (y positivo)de t ̂β j para rechazar H 0 : β j = 0 en favor de H 1 : β j > 0.

Valores negativos de β̂ j o t ̂β j no proporcionan evidencia en favorde H 1.


Contraste de Hipótesis: el test de lat

http://find/


20/72

Contraste de Hipótesis: el test de la t Contraste de hipótesis unilaterales (2)

La denición de "sucientemente grande", con un 5 % de nivel d

signicación, es el percentil 95% en una t n − k − 1, c .Por tanto la regla de rechazo es que H 0 se rechaza en favor deH 1, al nivel de signicación del 5 %, si

t ̂β j > c .

Por nuestra elección de c , esto ocurrirá el 5 % de todas lasmuestras cuando H 0 sea cierta.Este es un contraste de una sola cola (unilateral): Un valornegativo de t ̂β j nunca rechazará H 0.

Para otros valores se procederá igual: mayor nivel de signicacióimplicará que c es más pequeño, y por tanto se rechazará H 0 másveces cuando es cierta.Por tanto, si H 0 se rechaza al 5%, también se rechazará al 10 %.Cuanto más grande es n , más se parece la t a la normal.



http://find/


21/72

Contraste de Hipótesis: el test de la t Contraste de hipótesis unilaterales: Ejemplo ecuación salarial

log(wage ) = 0, 2844(0,1042)

+ 0, 092(0,0073)

educ + 0, 0041exper (0,0017)

+ 0, 0221(0,0031)

tenure

n = 526, R 2 = 0, 316 WAGE1.RAW

Hipótesis: el efecto de exper , una vez descontado el efecto deeduc y tenure , es cero en la población. Alternativa: es positivo.

H 0 : β exper = 0 contra H 1 : β exper > 0.

t ̂β exper = 0, 00412111

0, 0017233 = 2,3914,por tanto β̂ exper , o exper , es estadísticamente signicativo inclusoal 1 por ciento (o β̂ exper es estadísticamente mayor que cero.)El efecto no es muy grande (tres años más de experiencia

aportan un salario 1.2 % mayor,) pero ese efecto es positivo.C Velasco (MEI, UC3M) Análisis de Regresión Múltiple: Inferencia UC3M, 2006 21 / 72




22/72

Contraste de Hipótesis: el test de la t Contraste de hipótesis unilaterales (3)

Hipótesis alternativaH 1 : β j < 0.

La regla de rechazo es que H 0 se rechaza en favor de H 1, al nivelde signicación del 5 %, si

t ̂β j < − c .



http://find/


23/72

Contraste de Hipótesis: el test de la t Contraste de hipótesis bilaterales

En aplicaciones es frecuente contrastar la hipótesis nulaH 0 : β j = 0 contra una alternativa bilateral ,

H 1 : β j = 0.

Bajo esta alternativa, x j tiene un efecto ceteris paribus sobre y sinespecicar si éste es positivo o negativo. Esta es la alternativarelevante cuando el signo de β j no está determinado por la lateoría (o el sentido común). Incluso si se se conoce el signo de β j bajo la alternativa, un test bilateral es en general prudente (ya qupor ejemplo no depende del signo de β̂ j ).Si no se especica una alternativa concreta, en general se haceel contraste bilateral, y el 5 % será el nivel de signicación pordefecto. Eviews y la mayoría de los paquetes hacen estecontraste también por defecto para todos los x j .



http://goforward/http://find/http://goback/


24/72

Contraste de Hipótesis: el test de la t Contraste de hipótesis bilaterales (2)

Regla de rechazo: H 0 se rechaza en favor de H 1, al nivel designicación del 5 %, si

t ̂β j > c ,

donde c es el valor crítico que deja en cada área 2,5 % deprobabilidad en una distribución t n − k − 1.Si H 1 se rechaza en favor de H 1 al 5 % se habla de que x j esestadísticamente signicativo (o estadísticamente diferente decero.

Si se rechaza a niveles de signicación muy pequeños, entoncesse habla que x j es estadísticamente signicativo a cualquier nivelde signicación habitual (convencional).




25/72



26/72

Contraste de Hipótesis: el test de la t Otras hipótesis sobre β j : Ejemplo: delincuencia en los campus y matrícula

Modelo con elasticidad constante:

log(crime ) = β 0 + β 1 log(enroll ) + u .

En este caso la hipótesis de interés es

H 0 : β 1 = 1.Si β 1 > 1 entonces la delincuencia se incrementa más queproporcionalmente con el tamaño del campus, y afectarelativamente más a campus grandes.Para comparar las situaciones β 1 1 en términos absolutosse puede usar el modelo en niveles

crime = exp(β 0) enroll β 1 exp(u ) .





27/72

Contraste de Hipótesis: el test de la t Otras hipótesis sobre β j : Ejemplo: delincuencia en los campus y matrícula (2)

Ecuación estimada:

log(crime ) = − 6, 63(1,03)

+ 1,27(0,11)

log(enroll )

n = 97, R 2 = 0, 585

β̂ 1 > 1, pero hay evidencia para rechazar H 0 : β 1 = 1 en contra de

H 1 : β 1 > 1?Contraste:

t =β̂ j − a j

se β̂ j =

1,27 − 1

0,11 =

0,27

0,11 ≈ 2,45.

El valor crítico de un lado de una t 97− 2 = t 95 al nivel del 5 % es1,66 (aproximando con la t 120), por lo que rechazamos H 0claramente en favor de H 1. (Valor crítico al 1%: 2.37).





28/72

Contraste de Hipótesis: el test de la t p-valores para contrastes de la t

Método tradicional para contrastar hipótesis: elegir un nivel designicación y buscar un valor crítico para comparar con el t .Esto tiene un grado de arbitrariedad : la elección del nivel designicación antes del contrate, pero no hay uno correcto o mejoEste procedimiento omite información importante sobre el

resultado de un contraste: sólo sabemos que para un nivel designicación particular se acepta o rechaza H 0, pero no queocurre a cualquier otro.Mejor responder: dado el valor del estadístico t , ¿cuál es el menor nivel de signicación para el que la hipótesis nula se rechaza? Ep-valor es una probabilidad ∈ (0, 1) .Este valor es el p-valor del contraste. Se obtiene usando ladistribución de una variable t n − k − 1 y comparándola con el valordel estadístico t .





29/72

Contraste de Hipótesis: el test de la t p-valores para contrastes de la t (2)

Los paquetes (Eviews) calculan el p-valor para contrastes dehipótesis particulares:

H 0 : β j = 0, en contra de H 1 : β j = 0,

para el que

p -valor = Pr (|t n − k − 1| > |t |)donde t es el valor numérico del contraste.El p-valor resume la fuerza o debilidad de la evidencia empíricacontra la hipótesis nula.

El p-valor es la probabilidad de observar un estadístico t tanextremo (o más) como el que obtuvimos si la hipótesis nula fuescierta:

p-valores pequeños son evidencia en contra H 0.p-valores grandes son poca evidencia contra H 0.





30/72

Contraste de Hipótesis: el test de la t p-valores para contrastes de la t : Ejemplo

Si tenemos que los grados de libertad son n − k − 1 = 40 y t = 1, 85,entoncesp − valor = Pr(|t 40| > |1, 85|) = 2 Pr(t 40 > 1, 85) = 2∗0, 0359 = 0,0718.

Esto proporciona cierta evidencia en contra de H 0, pero no se

rechazará H 0 en favor de H 1 al 5 %.¿Qué ocurrirá al 10 %?¿Y al 1 %?Si obtenemos el p-valor podemos efectuar contrastes clásicos acualquier nivel de signicación:

Si α es mayor que el p-valor rechazamos H 0 al nivel designicación αsi α es menor que el p-valor no podemos rechazar H 0.


Contraste de Hipótesis: el test de la t

http://find/


31/72

pp-valores para contrastes de la t . Contrastes unilaterales

H 0 : β j = 0, en contra de H 1 : β j > 0.Si β̂ j < 0, entonces calcular el p-valor no es importante: es mayorque 0,5, por lo que nunca rechazaremos H 0 en favor de H 1.Si β̂ j > 0 entonces t > 0 y

p -valor = Pr(t n − k − 1 > t ) .

Este p-valor es igual a la mitad del p-valor de la hipótesis bilaterSi

H 0 : β j = 0, en contra de H 1 : β j < 0.Si β̂ j < 0 entonces t < 0 y

p -valor = Pr(t n − k − 1 < t ) .



http://find/


32/72

pComentarios

Cuando H 0 no es rechazada hablamos de que "no podemosrechazar H 0 al nivel α”, en lugar de que "se acepta H 0 al nivel α."La signicación estadística de una variable x j vienedeterminada por el tamaño de t ̂β j .La signicación económica o la signicación práctica de unavariable está relacionada con el tamaño (y el signo) de β̂ j .t ̂β j puede indicar signicatividad estadística bien porque β̂ j esgrande o porque se β̂ j es pequeño (por ejemplo porque n es

muy grande): una variable puede ser estadísticamentesignicativa pero tener un efecto pequeño para explicar y .Ejemplo: Planes de pensiones 401(k) y el efecto de totemp :

prate = β 0 + β 1mrate + β 2age + β 3totemp + u .


http://find/


33/72



34/72

pComentarios (3)

Guía:Comprobar la signicación estadística de una variable y luegodiscutir la signicación económica.Si una variable no es signicativa a los niveles habituales, todavíanos podemos plantear si tiene el efecto esperado sobre y y si esteefecto es grande en términos prácticos. Si es grande, se debecomputar el p-valor.

Es frecuente encontrar variables con estadísticos t pequeños quetienen el signo equivocado: en la práctica estas variables debenser ignoradas.Una variable signicativa estadísticamente y con el signocambiado es mucho más preocupante y difícil de resolver. Hayque repensar el modelo (omisión de variables, forma funcional,etc.).


http://find/


35/72

Intervalos de Conanza


36/72

También estimadores por intervalos: Proporcionan un rango devalores probables para el valor del parámetro poblacional.Intervalo al 95% :

β̂ j ± c · se β̂ j

donde c es el cuantil 97.5 de la distribución t n − k − 1.Alternativamente

β̂ j − c · se β̂ j , β̂ j + c · se β̂ j .

Signicado: si se obtienen sucesivas muestras aleatorias y secomputa el intervalo de conanza para cada una de ellas,entonces el valor poblacional β j (desconocido) estará contenidoen el intervalo de conanza para un 95 % de las muestras.Para un intervalo de conanza en particular, no hay ningunaseguridad de que contenga el valor β j .


Intervalos de Conanza (2)

http://find/


37/72

Para construir el intervalo de conanza hacen falta tres

elementos:β̂ j .c , que depende del cuantil de la t n − k − 1. Si n es grande se puedeaproximar por la normal y si el nivel de conanza es del 95 %podemos aproximar c ≈ 2.

se β̂ j .Para otros niveles de conanza se opera igual: a mayor nivel deconanza, más amplio es el intervalo.Con un intervalo de conanza es inmediato realizar contrastesde hipótesis bilaterales :Si la hipótesis nula es H 0 : β j = a j , entonces H 0 es rechazada enfavor de H 1:β j = a j al nivel de signicación del 5 % si y sólo si a j no está contenida en el intervalo de conanza al 95%.


http://find/


38/72

Intervalos de Conanza


39/72

Ejemplo: Modelo para precios hedónicos de viviendas (2)

log(price ) = 7,46(1,15)

+ 0,634(,184)

log(sqrft ) − 0,066(,059)

bdrms + 0,158(,075)

bthrms

n = 19, R 2 = 0,806

Intervalo de conanza para β bdrms :

− 0,066 ± 2,131 · 0,059 ≡ (− ,192, ,060) .

H 0 : β bdrms = 0?IC para β bthrms :

(− 0,002, ,318) .H 0 : β bthrms = 0?


4. Contraste de hipótesis acerca de una únicab ó l l d á

http://find/


40/72

combinación lineal de parámetros


test de la t


parámetros



Contraste de hipótesis acerca de una únicabi ió li l d á

http://find/


41/72

combinación lineal de parámetros

En la práctica es frecuente tener que contrastar hipótesis sobremás de un parámetro poblacional (y también múltiples hipótesis)EJEMPLO: modelo para comparar el rendimiento de la educacióen escuelas universitarias y facultades para una población detrabajadores con el título de bachillerato:

log(wage ) = β 0 + β 1 jc + β 2univ + β 3exper + u jc = número de años como estudiante en una escuelauniversitaria.univ = número de años en una universidad.Hipótesis de interés: un año en una escuela universitaria tiene elmismo valor que un año en la universidad, cp:

H 0 : β 1 = β 2


http://find/


42/72

Contraste de hipótesis acerca de una únicabi ió li l d á t


43/72

combinación lineal de parámetrosEjemplo: salarios, TWOYEAR

log(wage ) = β 0 + β 1 jc + β 2univ + β 3exper + u

log(wage ) = 1, 4723(0,021)

+ 0, 0667(0,0068)

jc + 0, 0769(0,0023)

univ + 0, 0049(0,00016)

exper

n = 6763 R 2 = 0, 222

Se predice una diferencia porcentual de aproximadamente un1 % :β̂ 1 − β̂ 2 = − 0,0102.


Contraste de hipótesis acerca de una únicabi ió li l d á t



44/72

combinación lineal de parámetrosEjemplo: salarios, TWOYEAR (2)

log(wage ) = 1, 4723(0,021)

+ 0, 0667(0,0068)

jc + 0, 0769(0,0023)

univ + 0, 0049(0,00016)

exper

n = 6763 R 2 = 0, 222

No hay información para calcular se β̂ 1 − β̂ 2 , pero

Var β̂ 1 − β̂ 2 = Var β̂ 1 + Var β̂ 2 − 2Cov β̂ 1, β̂ 2y por tanto

se β̂ 1 − β̂ 2 = se β̂ 12

+ se β̂ 22

− 2Cov β̂ 1, β̂ 21/ 2

Eviews proporcionaCov β̂ 1, β̂ 2 .


Contraste de hipótesis acerca de una únicacombinación lineal de parámetros

http://find/


45/72

combinación lineal de parámetrosOtro método

Basado en un modelo alternativo: evita tener que calcularCov β̂ 1, β̂ 2 y se β̂ 1 − β̂ 2 .Se basa en una reparametrización del modelo lineal:

θ1 = β 1 − β 2

y el contraste se realiza acerca de

H 0 : θ1 = 0, H 1 : θ1 < 0a partir de

t = θ̂1se θ̂1

θ1 debe ser el coeciente de una de las variables explicativas delmodelo.



http://find/


46/72

combinación lineal de parámetrosOtro método (2)

Usando θ1 = β 1 − β 2, y por tanto β 1 = θ1 + β 2,

log(wage ) = β 0 += β 1

(θ1 + β 2) jc + β 2univ + β 3 exper + u log(wage ) = β 0 + θ1 jc + β 2 ( jc + univ ) + β 3 exper + u

La clave es que el parámetro de interés, θ1, es ahora el coecientede una variable y se puede estimar directamente por MCO.Además hay una nueva variable que multiplica a β 3, jc + univ = totcoll , en lugar de univ ,

log(wage ) = β 0 + θ1 jc + β 2totcoll + β 3 exper + u .El parámetro β 1 ha desaparecido del modelo, mientras que θ1aparece explícitamente, e Eviews reportará se θ̂1 .



http://find/


47/72

combinación lineal de parámetrosOtro método (3)

Si estimamos por MCO:

log(wage ) = 1, 47233(0,02106)

− 0, 0102(0,0069)

jc + 0, 0769(0,00016)

totcoll + 0, 0049(0,00016)

exp

n = 6763 R 2 = 0, 222

El único resultado nuevo es el se de θ̂1, se θ̂1 = 0, 0069 :

t θ1 = − 0,0102

0,0069 = −1,478.

El p-valor contra una alternativa unilateral es sobre 0.7, por lo qhay evidencia contra H 0, pero no muy fuerte.El coeciente y el se de exper deben ser iguales.El coeciente de totcoll y su se deben ser iguales a los que teníauniv .


5. Contraste de múltiples restricciones lineales: elcontraste de laF

http://find/


48/72

contraste de la F


test de la t


parámetros



Contraste de múltiples restricciones lineales: elcontraste de laF



49/72

contraste de la F Contraste de restricciones de exclusión

Hasta ahora sólo hemos abordado problemas sobre una sola

restricción.El primer problema es contrastar si un grupo de variables notiene efecto sobre la variable dependiente, una vez que se hacontrolado por otro grupo de variables.


Contraste de restricciones de exclusiónEJEMPLO: salarios de una liga de baseball

http://find/


50/72

EJEMPLO: salarios de una liga de baseball

log(salary ) = β 0+ β 1years + β 2gamsyr + β 3bavg + β 4 hrunsyr + β 5rbisyr + u

years : años en la liga.gamesyr = número medio de partidos jugados al año.bavg = número medio de bateos.hrunsyr = número de home runs por añorbisyr = carreras con bateo por año.

Contraste de hipótesis múltiple o contraste conjunto : Lahipótesis de interés es que una vez que se ha controlado por elnúmero de años y de partidos por año, las estadísticas que midenel rendimiento, bavg , hrunsyr y rbisyr , no tienen efecto:

H 0 : β 3 = 0, β 4 = 0, β 5 = 0.Son tres restricciones de exclusión : si H 0 es cierta, entoncesbavg , hrunsyr y rbisyr no deberán estar en el modelo.


Contraste de restricciones de exclusión

http://find/


51/72

Hipótesis alternativa:

H 1 : H 0 no es cierta.

H 1 es cierta si al menos uno de β 3, β 4 ó β 5 es diferente de cero.El contraste va a detectar cualquier violación de H 1, como que

β 3 > 0 o que β 5 < 0, pero en ese caso no será el mejor contraste.¿Cómo proceder? Una primera posibilidad es usar losestadísticos individuales de la t para las tres variables paradeterminar si cada una de las variables puede ser eliminadaindividualmente.Sin embargo esto no es apropiado: un estadístico t no imponerestricciones sobre los otros parámetros y no está claro cuántosde ellos deben rechazar para realizar un contraste al 5 % de H 0.


Contraste de restricciones de exclusiónEJEMPLO: salarios de una liga de baseball (2) MLB1

http://find/


52/72

g ( )

log(salary ) = 11, 20(0,289)

+ 0, 0689(0,012)

years + 0, 0126(0,0026)

gamsyr

+ 0, 00098(0,0011) bavg + 0, 0144(0,016) hrunsyr + 0, 0108(0,0072) rbisyr

n = 353, SSR = 183,186, R 2 = 0, 6278

years y gamsyr son signicativas.Ninguna de bavg , hrunsyr y rbisyr es signicativa individualmenteusando las t : aparentemente no podemos rechazar H 0.Sin embargo esta conclusión puede estar equivocada: debemoshacer un contraste conjunto de todas las restricciones.

El nuevo método va a usar la SSR del ajuste (o alternativamente el R 2en el caso de restricciones de exclusión).SSR no dice nada acerca de que H 0 sea cierta o no: lo importante escuánto se incrementa SSR cuando eliminamos las variablesbavg , hrunsyr y rbisyr del modelo.


Contraste de restricciones de exclusiónEJEMPLO: salarios de una liga de baseball

http://find/


53/72

g

Modelo no restringido :

log(salary ) = β 0+ β 1years + β 2gamsyr + β 3bavg + β 4 hrunsyr + β 5rbis Modelo restringido :

log(salary ) = β 0 + β 1years + β 2gamsyr + u Modelo restringido ajustado:

log(salary ) = 11, 22(0,11)

+ 0, 0713(0,0125)

years + 0, 0202(0,0013)

gamsyr

n = 353, SSR = 198,311, R 2 = 0, 5971.SSR aumenta, como se esperaba, y R 2 baja también: hay quedecidir si el descenso de SSR al pasar del modelo sin restringir alrestringido es signicativo para que se pueda rechazar H 0.Se necesita un estadístico de contraste de distribución conocida yun nivel de signicación.


Contraste de restricciones de exclusión: Estadísticode la F



54/72

de la F Modelo no restringido:

y = β 0 + β 1x 1 + β 2x 2 + · · · + β k x k + u .

Hipótesis nula (q restricciones):H 0 : β k − q + 1 = 0, . . . , β k = 0.

Modelo restringido:y = β 0 + β 1x 1 + β 2x 2 + · · · + β k − q x k − q + u .

Estadístico de la F :

F = (SSR r − SSR nr ) / q SSR nr / (n − k − 1) =

SSR r − SSR nr SSR nr

n − k − 1q

SSR nr : suma de cuadrados de residuos en el modelo norestringido.SSR r : suma de cuadrados de residuos en el modelo restringido.


Contraste de restricciones de exclusión: Estadísticode la F

http://find/


55/72

de la F

F nunca es negativo.q = grados de libertad del numerador = gl r − gl nr , donde

gl = número de observaciones − número de parámetros estimado

n − k − 1 = grados de libertad del denominador: gl nr .El denominador de F es un estimador insesgado de σ2.Ejemplo:

n = 353n − k − 1 = 353− 5 − 1 = 347q = 3


http://find/


56/72

Contraste de restricciones de exclusiónEjemplo


57/72

n − k − 1 = 347; q = 3

F 3,347 : c = 2,60 al 5 %, c = 3,78 al 1 %.

F = (198,311 − 183,186)

183,1863473 ≈ 9,55.

Este valor está por encima del valor crítico al 1 % de la F 3,347, por

lo rechazamos con bastante fuerza la hipótesis nula de quebavg , hrunsyr y rbisyr no tienen efecto sobre el salario.Resultado contradictorio con los contrastes t individuales.El problema es que hrunsyr y rbisyr están muy correladas y estamulticolinealidad hace muy complicado aislar el efecto parcialde cada una de las variables.Multicolinealidad es mucho menos relevante para contrastarhipótesis conjuntas acerca de variables muy correladas.Intenta eliminar hrunsyr o rbisyr del modelo


Relación entre el Estadístico F y el Estadístico t

http://find/


58/72

¿Qué ocurre si se usa el estadístico F para contrastar si una sola

variable es signicativa?Sería aplicar el método anterior cuando q = 1, por ejemplo

H 0 : β k = 0.

Respuesta: ambos métodos son esencialmente iguales:

F = t 2,

y como una variable t 2n − k − 1 tiene una distribución F 1,n − k − 1, losdos métodos proporcionan la misma respuesta.El estadístico t es más exible para contrastar una sola restricciónya que permite dirigir el contraste contra alternativas unilaterales


Estadístico F en función del R 2

http://find/


59/72

En muchas ocasiones se puede usar una forma del estadístico F en función de los R 2 de los modelos restringido y no restringido.Los R 2 pueden ser más convenientes porque están entre 0 y 1 yno depende de las unidades de medida.Además se reporta casi siempre, pero quizá no el SSR .La idea es sustituir

SSR r = SST 1 − R 2r

SSR nr = SST 1 − R 2nr

Entonces

F =R 2nr − R 2r / q

1 − R 2nr / (n − k − 1)=

R 2nr − R 2r 1 − R 2nr

n − k − 1q

.

Como R 2nr > R 2r el estadístico F es siempre positivo.C Velasco (MEI, UC3M) Análisis de Regresión Múltiple: Inferencia UC3M, 2006 59 / 72

Estadístico F en función del R 2 (2)

http://find/


60/72

Ejemplo:

F = (,6278− ,5971)1 − ,6278 3473 ≈ 9,54.


Cálculo de p − valores para contrastes de la F

http://find/


61/72

P-valor: Probabilidad de observar un valor de la F al menos tangrande como el que se ha obtenido, dada que la hipótesis nula escierta,

p − valor = Pr F q ,n − k − 1 > F .Permite efectuar contrastes a cualquier nivel de signicación.Los paquetes econométricos tienen funciones que permitencalcular los p-valores para restricciones de exclusión.


El Estadístico F para el contraste de signicaciónglobal

http://find/


62/72

Un caso particular muy importante de contraste es aquel en que

H 0 : x 1, x 2, . . . , x k no ayudan a explicar y .

Todos los paquetes lo realizan por defecto.Hipótesis nula (k restricciones):

H 0 : β 1 = β 2 = · · · = β k = 0.

Alternativa: al menos uno de los β j es diferente de cero.También

H 0 : E (y ) = E (y |x 1, x 2, . . . , x k ) .


El Estadístico F para el contraste de signicaciónglobal (2)

http://find/


63/72

Modelo restringido:y = β 0 + u ,ŷ = β̂ 0 = ȳ , R 2r = 0

Si R 2 = R 2nr de la regresión de y sobre x 1, x 2, . . . , x k ,

F = R 2/ k

(1 − R 2)/ (n − k − 1) = R 2

1 − R 2n − k − 1

k .

Si no podemos rechazar H 0, entonces no hay evidencia de queninguna de las variables independientes ayuden a explicar y (debemos buscar otras variables que ayuden en ese caso).


El Estadístico F para el contraste de signicaciónglobal (3)

http://find/


64/72

Ejemplo: baseball

Ejemplo baseball:

F = 0,62781 − 0,6278

3475 = 117,06

y el p-valor es < 0,00001: se rechaza H 0, y se concluye que lasvariables independientes conjuntamente contribuyen a explicar y .

El resultado no depende solamente del tamaño del R 2.


Contraste de restricciones lineales generalesEjemplo: precio de la viviendas

log(price ) = β0 + β1 log(assess ) + β2 log(lotsize )

http://find/


65/72

log(price ) = β 0 + β 1 log(assess ) + β 2 log(lotsize )+ β 3 log(sqrft ) + β 4bdrms + u

price = precio de la vivienda.assess = valor de la casa de tasaciónlotsize = tamaño del lotesqrft = supercie en pies cuadradosbdrms = número de dormitoriosHipótesis nula: ver si el precio de tasación es una predicción

racional del precio real de venta:β 1 = 1.

Además las otras variables no deberían ayudar a predecir elprecio de venta una vez que se tiene en cuenta assess .4 restricciones, tres de exclusión

H 0 : β 1 = 1, β 2 = 0, β 3 = 0, β 4 = 0.


Contraste de restricciones lineales generalesEjemplo: precio de la viviendas (2)

http://find/


66/72

En este caso también se imponen las restricciones sobre elmodelo no restringido:

y = β 0 + β 1x 1 + β 2x 2 + β 3x 3 + β 4x 4 + u

para obtener y = β 0 + x 1 + u .El modelo restringido a estimar:

y − x 1 = β 0 + u .

Cálculo del estadístico F : igual que antes:

F = (SSR r − SSR nr ) / q SSR nr / (n − k − 1) =

SSR r − SSR nr SSR nr

n − k − 1q

NO es posible usar la forma del estadístico F con R 2 porque lavariable dependiente en los dos modelos es diferente: SST no secancelaría!!


Contraste de restricciones lineales generalesEjemplo: precio de la viviendas (3)

http://find/


67/72

Estimación modelo no restringido: SSR nr = 1,822.Estimación modelo restringido: SSR r = 1,880.n = 88

F = 1,880 − 1,8221,822834 = 0,661

El valor crítico al 5 % de una F 4,83 es c = 2,50, por lo que lahipótesis nula no se puede rechazar: no hay evidencia en contra

de que los valores de tasación no son racionales.


6. Presentación de resultados de regresión

http://find/


68/72



3 Intervalos de Conanza

4 Contraste de hipótesis acerca de una única combinación lineal deparámetros




Presentación de resultados de regresiónIdeas sobre como presentar los resultados y cómo se deben leer.



69/72

Ideas sobre como presentar los resultados y cómo se deben leer.Siempre hay que reportar los estimadores MCO . Para las

variables clave hay que interpretar los coecientes estimados (esuna elasticidad? implicaciones económicas...)Siempre hay que acompañar los estimadores de los erroresestándar (algunos autores preeren reportar los estadísticos t ).Mejor los errores estándar:

Fuerza a pensar en la hipótesis nula, que no siempre es β j = 0.Permite calcular intervalos de conanza fácilmente.

Siempre se incluye el R2: es una medida de bondad de ajuste ypermite el contraste general.También el número de observaciones, n.Si se estiman sólo dos modelos se pueden presentar en forma deecuación. Si se estiman más mejor presentar las estimaciones enuna tabla.


Presentación de resultados de regresiónEjemplo: salarios y pensiones para maestros

P li l ió l t t l t

http://find/


70/72

Para explicar la compensación anual total para un maestro, queincluye salario y todos los benecios (pensiones, seguro médico, etc.se postula

log(totcomp ) = f (productivity characteristics , other factor ) .

Sin embargo:

totcomp = salary + benets = salary 1 + benets salary

y entonces

log(totcomp ) = log(salary ) + log 1 + benets salary

≈ log(salary ) + benets salary


Presentación de resultados de regresiónEjemplo: salarios y pensiones para maestros (2)

http://find/


71/72

Esto lleva al modelo econométrico:

log(salary ) = β 0 + β 1 (b / s ) + other factors

Para contrastar si hay un trade-off salario-benecios se plantea:H 0 : β 1 = − 1, H 1 : β 1 = − 1

MEAP93: datos a nivel de colegio:


Presentación de resultados de regresiónEjemplo: salarios y pensiones para maestros (3)

http://find/


72/72

Variable Dependiente: log(salary )

Variables Independientes (1) (2) (3)b / s − ,825(,20)

− ,605(,16)

− ,589(,16)

log(enroll ) - ,0874(,0073)

0,0881(,0073)

log(staff ) - − ,222(,050) − ,218(,050)droprate - - − ,00028

(,0016)gradrate - - ,00097

(,00066)

intercept 10,523(,042) 10,884(,252) 10,738(,258)Observations 408 408 408R 2 0.040 0.353 0.361

http://find/

Analis de Regresion Multiple Inferencia

Documents

Transcript of Analis de Regresion Multiple Inferencia