Methoden der Psychologie Evaluation & Forschungsstrategien Prof. Dr. G. Meinhardt Johannes Gutenberg...

21
Methoden der Psychologie Evaluation & Forschungsstrategien Prof. Dr. G. Meinhardt Johannes Gutenberg Universität Mainz SS2015

Transcript of Methoden der Psychologie Evaluation & Forschungsstrategien Prof. Dr. G. Meinhardt Johannes Gutenberg...

Page 1: Methoden der Psychologie Evaluation & Forschungsstrategien Prof. Dr. G. Meinhardt Johannes Gutenberg Universität Mainz SS2015.

Methoden derPsychologie

Evaluation&

Forschungsstrategien

Prof. Dr. G. MeinhardtJohannes Gutenberg Universität Mainz

SS2015

Page 2: Methoden der Psychologie Evaluation & Forschungsstrategien Prof. Dr. G. Meinhardt Johannes Gutenberg Universität Mainz SS2015.

Methoden derPsychologie

Seminar

Evaluation & Forschungsstrategien

Anwendung statistischer Verfahren in • Überblick • Grundprinzip• wichtigsten mathematischen Beziehungen• Anwendungsbeispiele in Excel & Statistica

HA/Tut • Vertiefung mit Anwendungsbeispielen• Aufgabenbearbeitung mit Excel & Statistica

Prüfung Mündliche Modulabschlußprüfung

Stud.Leistung

Bearbeitung eines Project Files

Page 3: Methoden der Psychologie Evaluation & Forschungsstrategien Prof. Dr. G. Meinhardt Johannes Gutenberg Universität Mainz SS2015.

Methoden derPsychologie

Einführung Evaluationsproblem am Beispiel der Wirksamkeitsprüfung einer therapeutischen Maßnahme: Grundprobleme und Prüfstrategien

Verfahren• ANOVA – Grouping Factor Designs• ANOVA – Messwiederholungsdesigns/Trendanalyse• Effektstärkenprüfung• Faktoranalyse

Versuchspläne

Typische Designs aus der klinischen Psychologie

Ziele • Wissen über statistische Verfahren• Wissen über Untersuchungsstrategien• Umsetzung mit Software

Evaluation & Forschungsstrategien

Page 4: Methoden der Psychologie Evaluation & Forschungsstrategien Prof. Dr. G. Meinhardt Johannes Gutenberg Universität Mainz SS2015.

Methoden derPsychologie

Evaluations-problem

Design

Problemstellung

Eine Psychologin leitet eine Therapie-Evaluationsstudie zur Wirksamkeit einer neuen Behandlungsmethode fürdepressive Verstimmungen. Dazu werden 22 Patienten über 8 Wochen lang mit der neuen Methode behandelt, und dieWerte in 3 Kontrollvariablen V1: erlebte Beanspruchung, V2: Ohnmacht/Hilflosigkeit, V3: Körperbeschwerden jede Wocheerhoben (Vx: Mehritemskalen, die einen intervallskalierten Score pro Variable liefern). Zugleich existiert eineKontrollgruppe, an der die Variablen ebenfalls erhoben werden. Alle 3 Variablen sind für die Beurteilung desBehandlungserfolges gleichermaßen wichtig, und sollten in das Urteil über die Eignung der Behandlungsmethodeeingehen.

Evaluation & Forschungsstrategien

t1 t2 … tkControl v1 v2 v3 v1 v2 v3 … v1 v2 v3 Therapy v1 v2 v3 v1 v2 v3 … v1 v2 v3

ANOVA mit einem Gruppierungsfaktor und mind. einem Messwiederholungsfaktor

Hierbei wird jede Variable Vj auf ni Versuchspersonen gemessen. i = 1: Kontrollgruppei = 2: Therapiegruppe(die Stichprobenumfänge beider Gruppen dürfen verschieden sein)

Page 5: Methoden der Psychologie Evaluation & Forschungsstrategien Prof. Dr. G. Meinhardt Johannes Gutenberg Universität Mainz SS2015.

Methoden derPsychologie

Daten TIME*VAR*Group; LS Means

Current effect: F(12, 504)=68.837, p=0.0000Effective hypothesis decomposition

Vertical bars denote 0.95 confidence intervals

VAR 1 Bean VAR 2 Ohnm VAR 3 Hilf

Group: Control

TIME: 2 3 4 5 6 73.5

4.0

4.5

5.0

5.5

6.0

6.5

7.0D

V_1

Group: Therapy

TIME: 2 3 4 5 6 7

Evaluation & Forschungsstrategien

Page 6: Methoden der Psychologie Evaluation & Forschungsstrategien Prof. Dr. G. Meinhardt Johannes Gutenberg Universität Mainz SS2015.

Methoden derPsychologie

Fragen

Multivariate Analysemethoden & Multivariates Testen

• …

Page 7: Methoden der Psychologie Evaluation & Forschungsstrategien Prof. Dr. G. Meinhardt Johannes Gutenberg Universität Mainz SS2015.

Methoden derPsychologie

Fragen

Multivariate Analysemethoden & Multivariates Testen

• gibt es preexperimentelle Gruppenunterschiede? (Effekte im Pretest)• gibt es postexperimentelle Gruppenunterschiede? (Effekte im Posttest)• wie ist der Verlauf der Einwirkung in der Zeit in beiden Gruppen?• inwiefern sind die Effekte variablenspezifisch?• kann man ein Urteil über die Wirksamkeit der

Therapie für alle Variablen fällen? • wie stark sind die Effekte der Therapie?• ist die Zusammenhangsstruktur der Variablen in beiden Gruppen gleich?• ändert sich die Zusammenhangsstruktur mit der Zeit?• sind die Voraussetzungen für die eingesetzten statistischen Verfahren erfüllt?

Page 8: Methoden der Psychologie Evaluation & Forschungsstrategien Prof. Dr. G. Meinhardt Johannes Gutenberg Universität Mainz SS2015.

Methoden derPsychologie

Literatur a) b)

c)

Multivariate Analysemethoden & Multivariates Testen

Bortz Bortz/Döring

Winer

Page 9: Methoden der Psychologie Evaluation & Forschungsstrategien Prof. Dr. G. Meinhardt Johannes Gutenberg Universität Mainz SS2015.

Methoden derPsychologie

Problem

Frage

Anzahl der gefundenen Zielelemente in einem Konzentrationsleistungstest

(metrisch)Gruppierungsvariable Messgröße

Geschlecht

M J

Univariate Mittelwertevergleiche - Problemstellung

x

Unterscheidet sich die Leistung von Mädchen und Jungenim statistischen Mittelwert ?

Beispiel

Page 10: Methoden der Psychologie Evaluation & Forschungsstrategien Prof. Dr. G. Meinhardt Johannes Gutenberg Universität Mainz SS2015.

Methoden derPsychologie

Stichprobe

Frage

Wir untersuchen 40 Mädchen und 45 Jungen

Univariate Mittelwertevergleiche - Problemstellung

Gibt es wirkliche Leistungsunterschiede zwischen Jungen und Mädchen, oder ist der gefundene Unterschied „rein zufällig“ ?

Beispieldaten

23.7 17.2

GeschlechtM J

Mx Jx M Jx x x

23.7 – 17.2 = 6.5

Page 11: Methoden der Psychologie Evaluation & Forschungsstrategien Prof. Dr. G. Meinhardt Johannes Gutenberg Universität Mainz SS2015.

Methoden derPsychologie

Strategie

Urteil

Ermittle die Wahrscheinlichkeit für den beobachtetenMittelwertsunterschied unter der Annahme, dass beide Gruppen in der Population denselben Mittelwert besitzen

Univariate Mittelwertevergleiche - Prüfstrategie

Ist der beobachtete Mittelwertsunterschied unter der H0 sehr unwahrscheinlich (höchstens 5%), so lehnen wir die H0 ab, und sehen die H1 als die bessere Alternative an.

Annahme

0 : J MH

Die Populationsmittelwerte von Jungen und Mädchen sind gleich

Null-HypotheseAlternativ-Hypothese 1 : J MH

Page 12: Methoden der Psychologie Evaluation & Forschungsstrategien Prof. Dr. G. Meinhardt Johannes Gutenberg Universität Mainz SS2015.

Methoden derPsychologie

Theoretische Verteilung – Sampling Distribution

Sampling

Population der Jungen

Stichprobe des Umfangs NJ

Jx

Population der Mädchen

Stichprobe des Umfangs NMMx

Mittelwertsdifferenz

M Jx x x

1 1 1M Jx x x

2 2 2M Jx x x Tue dies k - mal:

k Mk Jkx x x

1 2 i kx x x x Verteilung der Differenzen von Mittelwerten

Page 13: Methoden der Psychologie Evaluation & Forschungsstrategien Prof. Dr. G. Meinhardt Johannes Gutenberg Universität Mainz SS2015.

Methoden derPsychologie

Central LimitTheorem

Die Verteilung von Differenzen von Mittelwerten nähert sich mit wachsendem Umfang der Sample-Stichproben einer Normalverteilung. Für N > 30 ist die Approximation gut.

0.00

0.05

0.10

Wah

rsch

einl

ichk

eits

dich

te

x

f x

x

Es gilt:

Theoretische Verteilung – Sampling Distribution

xx x x

x

0x

(wird geschätzt)

In der theoretischen Verteilung der Differenzen von Mittel-werten wird die Wahrscheinlichkeitsbestimmung vorge-nommen. Sie liegt dem inferenzstatistischen Schluss zugrunde.

Inferenzstat.Schluss

Page 14: Methoden der Psychologie Evaluation & Forschungsstrategien Prof. Dr. G. Meinhardt Johannes Gutenberg Universität Mainz SS2015.

Methoden derPsychologie

Sampling Distribution – Bestimmung des Standardfehlers

Unabhängigkeit

Ist die Messvariable eine in beiden Populationen unabhängige ZV:

2 2M J

xM JN N

Jungen und Mädchen kommen aus derselben Population2 2 2M J

Gleichheit derPopulations-varianz

2 1 1x

M JN N

Standardfehler

Page 15: Methoden der Psychologie Evaluation & Forschungsstrategien Prof. Dr. G. Meinhardt Johannes Gutenberg Universität Mainz SS2015.

Methoden derPsychologie

Sampling Distribution – Schätzung des Standardfehlers

Für die Populationsvarianz verwendet man eine Schätzung aus den Daten beider Stichproben:

2 22ˆ

2M M J J M J

M J M J

N s N s SAQ SAQN N df df

wobei und die Stichprobenvarianzen sind2Ms 2

Js

2 2 1 1ˆ2

M M J Jx

M J M J

N s N sN N N N

Dann gilt

Schätzung aus Stichproben

“Pooling”

(Beste Schätzung des Standardfehlers aus Stichprobendaten)

Schätzformel

Page 16: Methoden der Psychologie Evaluation & Forschungsstrategien Prof. Dr. G. Meinhardt Johannes Gutenberg Universität Mainz SS2015.

Methoden derPsychologie

Normalverteilung – z –Standardnormalverteilung

20 30 40 50 60 70 800.00

0.05

0.10

Wah

rsch

einl

ichk

eits

dich

te

x

x xzs

Wah

rsch

einl

ichk

eits

dich

te

-3 -2 -1 0 1 2 30.00

0.05

0.10

f (z)

1z

zx

Normalverteilung Standard-Normalverteilung

Die z- Transformation übersetzt die Rohdatenskala in die Standardskala( z = 0, z = 1)

_

x_

z_

f (x)

Page 17: Methoden der Psychologie Evaluation & Forschungsstrategien Prof. Dr. G. Meinhardt Johannes Gutenberg Universität Mainz SS2015.

Methoden derPsychologie

Sampling Distribution – Prüfgrösse

z- Skala der Differenzen von Mittelwerten

x

x

xz

Unter der H0 gilt 0x

Dann gilt:Prüfgrössex

xz

ist standardnormalverteilt

[ ] z0 1 22 1

0 x x 2 x 2 x [ ] xTransformatio

n

Page 18: Methoden der Psychologie Evaluation & Forschungsstrategien Prof. Dr. G. Meinhardt Johannes Gutenberg Universität Mainz SS2015.

Methoden derPsychologie

Entscheidung über Prüfgrösse mit Standardnormalverteilung

f t

-4 -2 2 4

0.1

0.2

z0

2.5%2.5%

95%x

xz

Prüfgrösse

Testen zum Signifikanzniveau : Ist |z| > z1-/2?

0.05 Signifikanzniveau

1 /2P z z

1 /2z 1 /2z Annahmebereich

1 /2z z Ablehnungsbereich

1 /2z z Ablehnungsbereich

1 /2z z

Page 19: Methoden der Psychologie Evaluation & Forschungsstrategien Prof. Dr. G. Meinhardt Johannes Gutenberg Universität Mainz SS2015.

Methoden derPsychologie

Entscheidung über Signifikanz des Mittelwerteunterschieds

1. Prüfgrösse Berechnex

xz

A. Gilt |z| > z1-/2 Ablehnung von H0

(die Mittelwerte der J. und M. sind signifikant verschieden)

Ermittle kritischen z - Wert z1-/2für ein Fehlerniveau2. Kritischer z - Wert

3. Entscheide

(die Mittelwerte der J. und M. unterscheiden sich zufällig)

B. Gilt |z| < z1-/2 Beibehalten von H0_

Page 20: Methoden der Psychologie Evaluation & Forschungsstrategien Prof. Dr. G. Meinhardt Johannes Gutenberg Universität Mainz SS2015.

Methoden derPsychologie

Numerisches Beispiel

Differenz der Mittelwerte 23.7 17.2

173 106

Mx Jx M Jx x x

23.7 – 17.2 = 6.52Ms 2

Js

40 173 45 106 1 1ˆ 2.5840 45 2 40 45x

StandardfehlerPrüfgrösse undKritischer Wert

6.5 2.522.58

z z1-/2 = z0.975 = 1.96

Entscheidung d.h. |z| > z1-/22.52 > 1.96 H0 ablehnenDie Mittelwerte entstammen nicht derselben Population(unterscheiden sich signifikant)

Page 21: Methoden der Psychologie Evaluation & Forschungsstrategien Prof. Dr. G. Meinhardt Johannes Gutenberg Universität Mainz SS2015.

Methoden derPsychologie

Voraussetzungen der Prüfung

Varianz-homogenität

Unabhängigkeit

Verletzungen

a. Die Populationsvarianzen die beiden Stichproben zu Grunde liegen, müssen gleich (homogen) sein.

(Prüfung mit geignetem Verfahren)

b. Die Messeinheiten innerhalb jeder Stichprobe müssen unabhängig sein.c. Die Messeinheiten beider Stichproben dürfen nicht teilweise paarweise zuzuordnen sein.

Der Test ist relativ robust gegen Verletzungen der Varianzhomogenität. Verletzungen der Unabhängigkeit(b.) führen zur Ungültigkeit der Prüfgrösse, der Unab-hängigkeit (c.) je nach Höhe der Korrelationen zu progressiven (kleine Korr.) oder zu konservativen Entscheidungen (hohe Korr.).