Jost Reinecke - Uni Bielefeld SS05/Folien/REG2b.pdf · Im SPSS-Output wird nur die erkl¨arte...
Transcript of Jost Reinecke - Uni Bielefeld SS05/Folien/REG2b.pdf · Im SPSS-Output wird nur die erkl¨arte...
Trivariate RegressionMultiple Regression
Multiple Regressionsanalyse
Jost Reinecke
Universitat Bielefeld
25. April 2005
Jost Reinecke Multiple Regressionsanalyse
Trivariate RegressionMultiple Regression
Trivariate Regression
Multiple Regression
Jost Reinecke Multiple Regressionsanalyse
Trivariate RegressionMultiple Regression
Trivariate Regression
x1
x2 y- �
ZZ
ZZ
ZZ
ZZ
ZZ
ZZ
ZZ~?
6
ey
rx1x2
byeybyx2
byx1
Jost Reinecke Multiple Regressionsanalyse
Trivariate RegressionMultiple Regression
Fur die endogene Variable y kann eineRegressionsgleichung aufgestellt werden:
y = byx1x1 + byx2
x2 + byeyey (1)
Die zwei Regressionskoeffizienten byx1und byx2
werden wie folgt berechnet:
1. Multiplikation der Gleichung (1) mit denexogenen Variablen x1 und x2
2. Die Bildung von Mittelwerten fur jede Variablein den Gleichungen
3. Die Umformulierung in r -Gleichngen undSubstitution
Jost Reinecke Multiple Regressionsanalyse
Trivariate RegressionMultiple Regression
Die jeweilige Multiplikation der Gleichung (1) mitden exogenen Variablen x1 und x2 ergibt:
yx1 = byx1x21 + byx2
x2x1 + byeyeyx1 (2)
yx2 = byx1x1x2 + byx2
x22 + byey
eyx2 (3)
Jost Reinecke Multiple Regressionsanalyse
Trivariate RegressionMultiple Regression
Fur jeden Term der Gleichungen (2) und (3) werdenMittelwerte gebildet:
∑(yx1)
N= byx1
∑(x2
1 )
N+byx2
∑(x2x1)
N+byey
∑(eyx1)
N(4)∑
(yx2)
N= byx1
∑(x1x2)
N+byx2
∑(x2
2 )
N+byey
∑(eyx2)
N(5)
Jost Reinecke Multiple Regressionsanalyse
Trivariate RegressionMultiple Regression
Da bei standardisierten Variablen die summiertenProdukte zweier Variablen dividiert durch N gleichder Korrelation dieser Variablen sind, konnenGleichung (4) und (5) umformuliert werden:
rx1y = byx1rx2
1+ byx2
rx2x1+ byey
reyx1(6)
rx2y = byx1rx1x2
+ byx2rx2
2+ byey
reyy1(7)
Jost Reinecke Multiple Regressionsanalyse
Trivariate RegressionMultiple Regression
Das Residuum ey darf nicht mit den exogenenVariablen x1 und x2 korrelieren:
reyx1= reyx2
= 0
Da rx21
= rx22
= 1 ist, lassen sich die Gleichungen (6)und (7) verkurzen:
rx1y = byx1+ byx2
rx2x1(8)
rx2y = byx1rx1x2
+ byx2(9)
Jost Reinecke Multiple Regressionsanalyse
Trivariate RegressionMultiple Regression
Die Umformung der Gleichung (8) ergibt:
byx1= rx1y − byx2
rx2x1(10)
Durch Einsetzen (Substitution) in Gleichung (9)ergibt sich:
rx2y = (rx1y − byx2rx2x1
)rx2x1+ byx2
(11)
rx2y = rx1y rx2x1− byx2
r 2x2x1
+ byx2(12)
rx2y = rx1y rx2x1+ byx2
(1− r 2x2x1
) (13)
rx2y − rx1y rx2x1
1− r 2x2x1
= byx2(14)
Jost Reinecke Multiple Regressionsanalyse
Trivariate RegressionMultiple Regression
Einsetzen von byx2in Gleichung (10) ergibt:
byx1= rx1y −
rx2y − rx1y rx2x1
1− r 2x2x1
rx2x1(15)
byx1= rx1y −
rx2y rx2x1− rx1y r
2x2x1
1− r 2x2x1
(16)
Zusammengefaßt lauten die Losungen derRegressionskoeffizienten:
byx2=
rx2y − rx1yrx2x1
1− r2x2x1
(17)
byx1= rx1y −
rx2yrx2x1− rx1yr
2x2x1
1− r2x2x1
(18)
Jost Reinecke Multiple Regressionsanalyse
Trivariate RegressionMultiple Regression
Beispiel
Variablen: Einkommen (y), Alter (x1) undSchichtzugehorigkeit (x2)
(y) (x1) (x2)
(y) 1,000 0,650 0,067
(x1) 0,650 1,000 0,048
(x2) 0,067 0,048 1,000
Jost Reinecke Multiple Regressionsanalyse
Trivariate RegressionMultiple Regression
x1 (A)
x2 (S) y (E)- �
ZZ
ZZ
ZZ
ZZ
ZZ
ZZ
ZZ~?
6
ey
rx1x2
byeybyx2
byx1
Graphische Darstellung des Beispiels
Jost Reinecke Multiple Regressionsanalyse
Trivariate RegressionMultiple Regression
Die Korrelationen aus der Tabelle werden in dieGleichungen (17) und (18) eingesetzt:
bx2y =0, 067− 0, 650 ∗ 0, 048
1− 0, 0482= 0, 036 (19)
byx1= 0, 650−0, 048 ∗ 0, 067− 0, 650 ∗ 0, 0482
1− 0, 0482= 0, 648
(20)Erklarte Varianz der abhangigen Variablen y :
R2 = b2yx1
+ b2yx2
= 0, 6482 + 0, 0362
= 0, 421 ≈ 42%EV
(21)
Jost Reinecke Multiple Regressionsanalyse
Trivariate RegressionMultiple Regression
Residualvarianz der abhangigen Variablen y :
1− R2 = 1− (b2yx1
+ b2yx2
)= 1− (0, 6482 + 0, 0362)= 0, 579 ≈ 58%NEV
(22)
Berechnung des Residualregressionskoeffizientenbyey
:√
1− R2 =√
1− (b2yx1
+ b2yx2
)
=√
1− (0, 6482 + 0, 0362)= 0, 761
(23)
Die Regressionsgleichung (vgl. Gleichung 1) lautet:
y = 0, 648x1 + 0, 036x2 + 0, 761ey (24)
Jost Reinecke Multiple Regressionsanalyse
Trivariate RegressionMultiple Regression
Multiple Regression
Die bi- und trivariate Regressionsanalyse beschranktsich auf die Analyse von zwei oder drei Variablen ineinem Modell. Werden mehrere als eineunabhangige Variable zur Erklarung der Variation inder abhangigen Variable berucksichtigt, dann mußdie Regressionsgleichung um weitere Termeerweitert werden:
yi = a + b1x1i + b2x2i + . . . + bkxki + e (25)
Gleichung 25 formalisiert ein multiplesRegressionsmodell mit der Konstanten a, denRegressionskoeffizienten b1, b2 . . . bk und demResiduum e.
Jost Reinecke Multiple Regressionsanalyse
Trivariate RegressionMultiple Regression
xk
x2
x1
y
�������������������1-
PPPPPPPPPPPPPPPPPPPq
...
b1
b2
bk
e
?
Graphische Darstellung eines multiplen Regressionsmodells
Jost Reinecke Multiple Regressionsanalyse
Trivariate RegressionMultiple Regression
Die Terme in Gleichung 25 lassen sich auch alsVektoren darstellen, wobei der Einfachheit halberauf die Konstante a verzichtet wird (d. h. es werdenstandardisierte Variablen angenommen):
yi = (x1i + x2i + . . . + xki)β + e = Xβ + e (26)
mit
β =
b1
b2...bk
(27)
Jost Reinecke Multiple Regressionsanalyse
Trivariate RegressionMultiple Regression
Eine Losung der Regressionskoeffizenten im Vektorβ kann auch hier uber die Methode der kleinstenQuadrate gefunden werden, die von einerquadratischen Fehlerfunktion ausgeht.Gleichung 26 wird nach dem Fehlerterm eumgestellt:
e = yi − Xβ (28)
Die quadratische Fehlerfunktion lautet:
Q(e) :=∑
e2i = e ′e (29)
mit e ′ als transponierten Vektor von e.
Jost Reinecke Multiple Regressionsanalyse
Trivariate RegressionMultiple Regression
Wird Gleichung 28 in Gleichung 29 eingesetzt, dannergibt sich:
e ′e = (yi − Xβ)′(yi − Xβ) (30)
Die Kleinst-Quadrate-Schatzer des Parametervektorsβ lassen sich eindeutig bestimmen:
β = (X ′X )−1X ′y =
(1
nX ′X
)−1 (1
nX ′y
)(31)
1nX
′X ist die Kovarianzmatrix fur die unabhangigenVariablen xk ,
1nX
′y ist die Kovarianzmatrix zwischenden unabhangigen Variablen xk und der abhangigenVariablen y .
Jost Reinecke Multiple Regressionsanalyse
Trivariate RegressionMultiple Regression
Beispiel
Variablen:Schulbildung (y),Schulbildung Vater (x1),Schulbildung Mutter (x2),Berufsprestige Vater (x3)
(y) (x1) (x2) (x3)(y) 1,000 0,475 0,425 0,373(x1) 0,475 1,000 0,709 0,644(x2) 0,425 0,709 1,000 0,479(x3) 0,373 0,644 0,479 1,000
Jost Reinecke Multiple Regressionsanalyse
Trivariate RegressionMultiple Regression
x3
x2
x1
y
�������������������1-
PPPPPPPPPPPPPPPPPPPq
0, 284
0, 172
0, 107
0, 867
?
Graphische Darstellung des BeispielsJost Reinecke Multiple Regressionsanalyse
Trivariate RegressionMultiple Regression
Regressionsgleichung des Beispiels:
y = b1x1 + b2x2 + b3x3 + e (32)
Einsetzen der standardisierten Regressionskoeffizienten:
y = 0, 284x1 + 0, 172x2 + 0, 107x3 + 0, 867e
Erklarte Varianz in der abhangigen Variablen y :
R2 = 0, 248 ≈ 25%
Nicht erklarte Varianz in der abhangigen Variablen y :
1− R2 = 0, 752 ≈ 75%
Jost Reinecke Multiple Regressionsanalyse
Trivariate RegressionMultiple Regression
Berechnung des Residualregressionskoeffizienten e:
1− R2 =√
1− 0, 248 = 0, 867
Hinweis:Im SPSS-Output wird nur die erklarte Varianz (R2)ausgewiesen, die nicht erklarte Varianz (1− R2) und derResidualregressionskoeffizient (
√1− R2) mussen selbst
ausgerechnet werden.
Jost Reinecke Multiple Regressionsanalyse