Post on 06-Dec-2014
description
Methoden en Technieken
Ning Ding
September 27 2011
2
Overview Review of the last course
Instrumentation Validity and Reliability Internal Validity
Today’s course Experimental Research Single-Subject Research
3
Review of the 1st course Chapter 1-4
The nature of research The scientic method provides an important way to
obtain accurate and reliable information.
The research problem Feasible, clear, significant, and ethical
Variables and hypotheses Quantitative vs. categorical variables Independent vs. dependent variables Moderator variables Extraneous variables
Ethics and research
4
Review of the 1st course Chapter 1-4
Feasible,
clear,
significant,
ethical
Feasible,
clear,
significant,
ethicalAdequate
Testable
Adequate
Testable
Clear Clear
Brief
Relevant
Brief
Relevant Representative
Clearly defined
Representative
Clearly defined
Rational
Detailed
Rational
Detailed
Detailed Detailed
Clear
Relevant
Clear
Relevant
5
Review of the 1st course Chapter 1-4
Nominal: female vs. male Ordinal: low achievement < medium <
high Interval: learning performance in English Ratio: age in years
Dependent: Independent:
Can a teacher’s teaching style influence students’ learning achievement? Moderator:Can a senior teacher’s teaching style influence students’ learning achievement? Extraneous: need to be excluded
6
Review of the 2nd course Chapter 7 Instrumentation
Data: Where, when, how often, who Means of Classifying Data-Collection
Instruments Who? Where? How?
Norm-referenced vs. Criterion-referenced Instruments
Measurement Scales
Jeroen has solved 60% problems in the test, and scored above 40% of all the students in his class.Jeroen has solved 60% problems in the test, and scored above 40% of all the students in his class.
7
Review of the 2nd course Chapter 8 Validity and Reliability
Validity= the extent to which a test measures what we actually wish to measure. Content-related evidence (content and format of
the instrument) Criterion-related evidence (relationship between
scores of instrument and another instrument) Construct-related evidence (nature of the
psychological construct or characteristic being measured by the instrument)
Representative?Representative?
Predictive?Predictive?
Theoretical?Theoretical?
8
Review of the 2nd course Chapter 8 Validity and Reliability
Reliability= the consistency of scores or answer of the instrument
Errors of measurement Methods to estimate reliability
Test-retest Equivalent-forms Internal-consistency
Split-half procedure Kuder-richardson approaches Cronbach’s Alpha
9
Review of the 2nd course
Test-retest
Parallel forms
Split-half
KR20
Cronbach’s
alpha
Type Coefficient What is measured Methods
Stability
Equivalence
Internal
consistency
Reliability of a test or instrument infered from examinee scores. Same test is administered twice to same subjects over an interval of less than six months.
Degree to which alternative forms of the same measure produce same or similar results. Administered simultaneously or with a delay.
Interrater estimates of the similarity of judges’ observations or scores.
Degree to which instrument items are homogeneous and reflect the same underlying construct.
Correlation
Correlation
Specialized correlations formulas
10
Review of the 2nd course Chapter 8 Validity and Reliability
11
Review of the 2nd course Chapter 9 Internal Validity.
Internal Validity = any relationship observed between two or more variables should be clear-cut, rather than due to something else.
Internal validity External validity
Do the conclusions we draw about a demonstrated experimental relationship truly imply cause?
Does an observed causal relationship generalize to the pupulation?
12
Review of the 2nd course Chapter 9 Internal Validity
Threats to Internal Validity Subject characteristics Loss of subjects (mortality) Location Instrumentation Instrument decay Data collector characteristics Data collector bias Testing History Maturation Attitudes of subjects Regression Implementation
13
Review of the 2nd course Chapter 9 Internal Validity
Minimize the threats
14
Types of Research
Experimental research
Correlational research
Causal-comparative research
Survey
Ethnographic research
Historical research
Action research
Compare; Single over time
Relationship
Cause, consequence
Characteristics
Everyday experience
Past
Active involvement
Chapter 13 Experimental Research
15
Uniqueness of Experimental Research Is uniek
Enig type onderzoek waarbij een variabele gemanipuleerd wordt
Beste type onderzoek om uitspraken te kunnen doen over oorzaak-gevolg relaties
Twee variabelen Independent Variable/Onafhankelijke variabele
(interventie of niet): Dependent Variable/Afhankelijke variabele
(uitkomst): meestal interval
Chapter 13 Experimental Research
16
Uniqueness of Experimental Research Is uniek
gemanipuleerd oorzaak-gevolg relaties
Twee variabelen Onafhankelijke variabele (interventie of niet) Afhankelijke variabele (uitkomst)
Chapter 13 Experimental Research
diefstaldiefstal
Report it or not?Report it or not?
alonealone with someonewith someoneIndependent variableIndependent variable
Dependent variableDependent variable
17
Characteristics of Experimental Research Kenmerken van Experimenteel onderzoek
De onderzoeker manipuleert de onafhankelijke variabele
De onderzoeker beslist over de aard en intensiteit van de behandeling/interventie
Na de behandelingen worden metingen verricht bij de groepen om te zien of ze verschillen
Kern: voorbij beschrijving en voorspelling op zoek naar de oorzaak
Chapter 13 Experimental Research
18
Randomization Elke onderzoekseenheid heeft dezelfde kans
om in de experimentele of de controleconditie te komen
Drie kenmerken: Voordat het experiment begint Gecontroleerd door de onderzoeker Met als resultaat: equivalente groepen
(verschillen kunnen aleen maar toevallig zijn)
Chapter 13 Experimental Research
19
Randomization
Chapter 13 Experimental Research
20
Randomization Drie kenmerken:
Voordat het experiment begint Gecontroleerd door de onderzoeker Met als resultaat: equivalente groepen
(verschillen kunnen aleen maar toevallig zijn)
Chapter 13 Experimental Research
21
Control of Extraneous Variables / Controle van externe verstorende variabelen In het experiment controleert de onderzoeker
alles Met speciale aandacht voor mogelijke
bedreigers van de interne validiteit Werkwijze: controle over alle kenmerken van de
onderzoekseenheden die de uitkomsten mogelijk zouden kunnen beinvloeden
Chapter 13 Experimental Research
22
Weak Experiment Design / Zwakke experimentele designs Zwak: want geen controle ingebouwd om
validiteitsbedreigers het hoofd te bieden The one-shot case study
Een groep krijgt een behandeling waarna een meting (posttest) volgt
The one-group-pretest-posttest design Idem maar met een pretest
The static-group comparison design Twee intacte groepen krijgen twee verschillende
behandelingen
Chapter 13 Experimental Research
23
Example of one-shot case study design
Chapter 13 Experimental Research
Treatment or manipulation Observation
or measurement
Dependent VariableIndependent Variable
No pretest?No control group?
No pretest?No control group?
24
Example of one-group pretest-posttest design
Pretest:
Twenty-item attitude scale completed by
students
Treatment:
Ten weeks of counseling
Posttest:
Twenty-item attitude scale completed by
students
Chapter 13 Experimental Research
No control group?No control group?
25
Example of static-group comparison design
Chapter 13 Experimental Research
Unequavalent treatmentUnequavalent treatment
pretest Attitude scale to measure interest
Attitude scale to measure interest
1treatment
pretest0
Different treatment
26
Bedreigers van de interne validiteit Kenmerken van de onderzoekseenheden en selectiebias Experimentele sterfte (mortaliteit) Locatie / omstandigheden Instrumentatie (Scoring-regel verandert) Kenmerken van de dataverzamelaar
Gestandaardiseerde procedures Blind
Testing: een pre-test kan mensen gevoelig maken Geschiedenis of speciale gebeurtenis Rijping Houding van de “proefpersonen”
Hawthorne John Henry
Implementation
Chapter 13 Experimental Research
27
Weak Experiment Design / Zwakke experimentele designs Zwak: want geen controle ingebouwd om
validiteitsbedreigers het hoofd te bieden The one-shot case study The one-group-pretest-posttest design The static-group comparison design
Chapter 13 Experimental Research
Comparison groups that are truly equivalentComparison groups that are truly equivalent
Matching Random Assignment
28
True Experimental Designs A-selecte toewijzing aan condities
(randomiseren) Drie voorbeelden
Randomized posttest-only control group design Beide groepen krijgen verschillende behandelingen
waarna er een meting (posttest) plaats vindt Randomized pretest-posttest control group design
Idem maar met pretest Randomized solomon four-group design
Vier groepen, twee met een pretest en twee zonder pretest en daarna posttest
Chapter 13 Experimental Research
29
Voorbeeld van Randomized Posttest-Only Control Group Design
Chapter 13 Experimental Research
Posttest
Posttest
1treatmentRandomization
Randomization
0No treatment
30
Voorbeeld van Randomized Posttest-Only Control Group Design
Chapter 13 Experimental Research
31
Voorbeeld van Randomized Pretest-Posttest Control Group Design
Chapter 13 Experimental Research
Posttest
Posttest
1treatmentRandomization
Randomization
0No treatment
Pretest
Pretest
32
Voorbeeld van een Randomized Solomon Four-Group Design
Chapter 13 Experimental Research
To eliminate the possibe effect of a pretest
33
Wanneer pretest gebruiken?
Vergelijkbaarheid van groepen nagaan(controle van randomisering en van uitval)
Learning gain / Leerwinst nagaan
Differentiele effecten van de interventie(effect afhankelijk van hoogte van voormeting)
Nadeel van een pretesttesting als validiteitsbedreiger
Chapter 13 Experimental Research
34
Beperkingen van het experiment
Generaliseerbaarheid (externe validiteit) Ethische en politieke overwegingen Niet geschikt voor interventieprogramma in
beginfase Tijd en kosten
Chapter 13 Experimental Research
35
Random toewijzing met matching
Om equivalentie te bevorderen worden paren onderzoekseenheden gevormd die op kernvariabelen op elkaar lijken
Vervolgens per paar de onderzoekseenheden aselect toewijzen aan de condities
Chapter 13 Experimental Research
36
Randomized Posttest-Only Control Group Design met matching
Chapter 13 Experimental Research
37
Mechanisch versus statistisch matchen Mechanisch matching: zoals aangegeven
Nadeel 1: limit the number / moeilijk bij veel variabelen Nadeel 2: loss of subjects / een persoon valt uit dan paar
kwijt
Statisch matching (ook wel: statistisch equivaleren of statistische verrekening): Voorkomt deze nadelen Voorspelde score op basis van samenhang tussen de
variabelen Verschil voorspelde-geobserveerde score (‘degree of
overachievement’) is waar we mee gaan werken Techniek: covariantie-analyse (ANCOVA)
Chapter 13 Experimental Research
38
Statistische controle: covariantie-analyse
Statistisch corrigeren van tussen de groepen gemeten verschillen op de relevant geachte externe variabelen (3de variabele = covariaat)
Ideaaltypisch voorbeeld:
Na-toets
O2
Voortoets O1
Experimentele groep
Controle groep
Regressielijn exp. groep: O2 = .3O1 + 8Regressielijn contr. groep: O2 = .3O1 + 1
Interventie heeft een gemiddeldeffect van 8 - 1 = 7.
Chapter 13 Experimental Research
39
Quasi-experimentele Designs Geen randomisering maar andere technieken om de
validiteitsbedreigers onder controle te houden
Matching-only design
Als matchen maar dan zonder aselecte toewijzing
Counterbalanced design
Alle groepen krijgen alle interventies maar in een verschillende volgorde
Time-series design
Herhaalde metingen zowel voor als na de interventie
Chapter 13 Experimental Research
seemingseeming
40
Voorbeeld van een Counterbalanced Design
Chapter 13 Experimental Research
41
Voorbeelden van uitkomsten bij een Time-Series Design
Chapter 13 Experimental Research
42
Factoriele Designs
Een (soms meer) extra onafhankelijke variabele
Biedt de mogelijkheid om interacties te onderzoeken (moderatorvariabele)
Chapter 13 Experimental Research
43
Voorbeeld van een Factoriele Design
Chapter 13 Experimental Research
2*2 Factorial Design2*2 Factorial Design
>>
><
44
Chapter 13 Experimental ResearchVoorbeeld van een Factoriele Design
Teaching style
Ageauthority facilitator demonstrator
Junior
Senior
2*3 Factorial Design2*3 Factorial Design
45
Chapter 13 Experimental Research
Experimental Research DesignsWeakTrueQuasiFactorial
46
Chapter 14 Single-Subject Research Single subject design
47
Essentiele kenmerken
Chapter 14 Single-Subject Research
Voorkeur voor een enkel subject boven een hele groep
Intensieve gegevensverzameling (met veel metingen / observaties) wenselijk
Single-subject design is een variant op het time-series design
48
Single-Subject Design
Chapter 14 Single-Subject Research
Gebruik van grafische weergave – optische inspectieEerst een baseline, gevolgd door de interventie (onafhankelijke variabele) Condition lines laat zien of er een verandering in de interventie is opgetreden Data punten representeren wanneer de data werden verzameld (x-as) en wat de metingen op de afhankelijke aan scores hebben opgeleverd
49
Types Single-Subject Designs
Chapter 14 Single-Subject Research
A-B Design Één subject wordt aan twee condities of fases onderworpen na een
reeks baseline metingen A-B-A Design
Idem maar withdrawal/verwijderingThe A-B-A-B Design
als A-B maar dan herhaaldThe B-A-B Design
Te gebruiekn als er snel een gedragsverandering nodig is (geen tijd voor baseline-metingen)
The A-B-C-B Design De “C” conditie is een variatie op de “B””-conditie om het
aandachtseffect (Hawthorne)
50
A-B Design
Chapter 14 Single-Subject Research baselinebaseline
interventionintervention
51
A-B-A Design
Chapter 14 Single-Subject Research
baselinebaseline
interventionintervention
baselinebaseline
Remove intervention
Remove intervention
52
A-B-A-B Design
Chapter 14 Single-Subject Research
53
B-A-B Design
Chapter 14 Single-Subject Research
54
Chapter 14 Single-Subject Research A-B-C-B Design
55
Chapter 14 Single-Subject Research Multiple-Baseline Design
Alternatief voor A-B-A-B design Toepassen als het niet ethisch of onmogelijk is maar de
baseline conditie terug te keren Gegevens over meerdere gedragsaspecten Interventie per gedragsaspect Als het gedrag alleen verandert na de interventie dan wordt
de interventie als oorzaak gezien
56
Chapter 14 Single-Subject Research Voorbeeld van een Multiple-Baseline Design
57
Chapter 14 Single-Subject Research Voorbeeld van een Multiple-Baseline Design
58
Chapter 14 Single-Subject Research De validiteitsbedriegers in een Single-Subject design
Zeer effectief om het volgende onder controle te houden:
Kenmerken van het subject (onderzoekseenheid)
Mortaliteit
Testing
Geschiedenis
Minder effectief om het volgende onder controle te houden:
Locatie
Kenmerken van de dataverzamelaar
Rijping
Regressie-naar-het-gemiddelde
Slecht ten aanzien van:
Hawthorne
Houding
Implementatie
59
Chapter 14 Single-Subject Research Externe Validiteit
Zwak qua generalisatiemogelijkheden
Daarom: replicatie gewenst
60
Overview Review of the last course
Instrumentation Validity and Reliability Internal Validity
Today’s course Experimental Research Single-Subject Research