Sept27 college 3

Methoden en Technieken

Ning Ding

September 27 2011

2

Overview Review of the last course

Instrumentation Validity and Reliability Internal Validity

Today’s course Experimental Research Single-Subject Research

3

Review of the 1st course Chapter 1-4

The nature of research The scientic method provides an important way to

obtain accurate and reliable information.

The research problem Feasible, clear, significant, and ethical

Variables and hypotheses Quantitative vs. categorical variables Independent vs. dependent variables Moderator variables Extraneous variables

Ethics and research

4


Feasible,

clear,

significant,

ethical

Feasible,

clear,

significant,

ethicalAdequate

Testable

Adequate

Testable

Clear Clear

Brief

Relevant

Brief

Relevant Representative

Clearly defined

Representative

Clearly defined

Rational

Detailed

Rational

Detailed

Detailed Detailed

Clear

Relevant

Clear

Relevant

5


Nominal: female vs. male Ordinal: low achievement < medium <

high Interval: learning performance in English Ratio: age in years

Dependent: Independent:

Can a teacher’s teaching style influence students’ learning achievement? Moderator:Can a senior teacher’s teaching style influence students’ learning achievement? Extraneous: need to be excluded

6

Review of the 2nd course Chapter 7 Instrumentation

Data: Where, when, how often, who Means of Classifying Data-Collection

Instruments Who? Where? How?

Norm-referenced vs. Criterion-referenced Instruments

Measurement Scales

Jeroen has solved 60% problems in the test, and scored above 40% of all the students in his class.Jeroen has solved 60% problems in the test, and scored above 40% of all the students in his class.

7

Review of the 2nd course Chapter 8 Validity and Reliability

Validity= the extent to which a test measures what we actually wish to measure. Content-related evidence (content and format of

the instrument) Criterion-related evidence (relationship between

scores of instrument and another instrument) Construct-related evidence (nature of the

psychological construct or characteristic being measured by the instrument)

Representative?Representative?

Predictive?Predictive?

Theoretical?Theoretical?

8


Reliability= the consistency of scores or answer of the instrument

Errors of measurement Methods to estimate reliability

Test-retest Equivalent-forms Internal-consistency

Split-half procedure Kuder-richardson approaches Cronbach’s Alpha

9

Review of the 2nd course

Test-retest

Parallel forms

Split-half

KR20

Cronbach’s

alpha

Type Coefficient What is measured Methods

Stability

Equivalence

Internal

consistency

Reliability of a test or instrument infered from examinee scores. Same test is administered twice to same subjects over an interval of less than six months.

Degree to which alternative forms of the same measure produce same or similar results. Administered simultaneously or with a delay.

Interrater estimates of the similarity of judges’ observations or scores.

Degree to which instrument items are homogeneous and reflect the same underlying construct.

Correlation

Correlation

Specialized correlations formulas

10


11

Review of the 2nd course Chapter 9 Internal Validity.

Internal Validity = any relationship observed between two or more variables should be clear-cut, rather than due to something else.

Internal validity External validity

Do the conclusions we draw about a demonstrated experimental relationship truly imply cause?

Does an observed causal relationship generalize to the pupulation?

12

Review of the 2nd course Chapter 9 Internal Validity

Threats to Internal Validity Subject characteristics Loss of subjects (mortality) Location Instrumentation Instrument decay Data collector characteristics Data collector bias Testing History Maturation Attitudes of subjects Regression Implementation

13

Review of the 2nd course Chapter 9 Internal Validity

Minimize the threats

14

Types of Research

Experimental research

Correlational research

Causal-comparative research

Survey

Ethnographic research

Historical research

Action research

Compare; Single over time

Relationship

Cause, consequence

Characteristics

Everyday experience

Past

Active involvement

Chapter 13 Experimental Research

15

Uniqueness of Experimental Research Is uniek

Enig type onderzoek waarbij een variabele gemanipuleerd wordt

Beste type onderzoek om uitspraken te kunnen doen over oorzaak-gevolg relaties

Twee variabelen Independent Variable/Onafhankelijke variabele

(interventie of niet): Dependent Variable/Afhankelijke variabele

(uitkomst): meestal interval


16

Uniqueness of Experimental Research Is uniek

gemanipuleerd oorzaak-gevolg relaties

Twee variabelen Onafhankelijke variabele (interventie of niet) Afhankelijke variabele (uitkomst)


diefstaldiefstal

Report it or not?Report it or not?

alonealone with someonewith someoneIndependent variableIndependent variable

Dependent variableDependent variable

17

Characteristics of Experimental Research Kenmerken van Experimenteel onderzoek

De onderzoeker manipuleert de onafhankelijke variabele

De onderzoeker beslist over de aard en intensiteit van de behandeling/interventie

Na de behandelingen worden metingen verricht bij de groepen om te zien of ze verschillen

Kern: voorbij beschrijving en voorspelling op zoek naar de oorzaak


18

Randomization Elke onderzoekseenheid heeft dezelfde kans

om in de experimentele of de controleconditie te komen

Drie kenmerken: Voordat het experiment begint Gecontroleerd door de onderzoeker Met als resultaat: equivalente groepen

(verschillen kunnen aleen maar toevallig zijn)


19

Randomization


20

Randomization Drie kenmerken:

Voordat het experiment begint Gecontroleerd door de onderzoeker Met als resultaat: equivalente groepen

(verschillen kunnen aleen maar toevallig zijn)


21

Control of Extraneous Variables / Controle van externe verstorende variabelen In het experiment controleert de onderzoeker

alles Met speciale aandacht voor mogelijke

bedreigers van de interne validiteit Werkwijze: controle over alle kenmerken van de

onderzoekseenheden die de uitkomsten mogelijk zouden kunnen beinvloeden


22

Weak Experiment Design / Zwakke experimentele designs Zwak: want geen controle ingebouwd om

validiteitsbedreigers het hoofd te bieden The one-shot case study

Een groep krijgt een behandeling waarna een meting (posttest) volgt

The one-group-pretest-posttest design Idem maar met een pretest

The static-group comparison design Twee intacte groepen krijgen twee verschillende

behandelingen


23

Example of one-shot case study design


Treatment or manipulation Observation

or measurement

Dependent VariableIndependent Variable

No pretest?No control group?

No pretest?No control group?

24

Example of one-group pretest-posttest design

Pretest:

Twenty-item attitude scale completed by

students

Treatment:

Ten weeks of counseling

Posttest:

Twenty-item attitude scale completed by

students


No control group?No control group?

25

Example of static-group comparison design


Unequavalent treatmentUnequavalent treatment

pretest Attitude scale to measure interest

Attitude scale to measure interest

1treatment

pretest0

Different treatment

26

Bedreigers van de interne validiteit Kenmerken van de onderzoekseenheden en selectiebias Experimentele sterfte (mortaliteit) Locatie / omstandigheden Instrumentatie (Scoring-regel verandert) Kenmerken van de dataverzamelaar

Gestandaardiseerde procedures Blind

Testing: een pre-test kan mensen gevoelig maken Geschiedenis of speciale gebeurtenis Rijping Houding van de “proefpersonen”

Hawthorne John Henry

Implementation


27

Weak Experiment Design / Zwakke experimentele designs Zwak: want geen controle ingebouwd om

validiteitsbedreigers het hoofd te bieden The one-shot case study The one-group-pretest-posttest design The static-group comparison design


Comparison groups that are truly equivalentComparison groups that are truly equivalent

Matching Random Assignment

28

True Experimental Designs A-selecte toewijzing aan condities

(randomiseren) Drie voorbeelden

Randomized posttest-only control group design Beide groepen krijgen verschillende behandelingen

waarna er een meting (posttest) plaats vindt Randomized pretest-posttest control group design

Idem maar met pretest Randomized solomon four-group design

Vier groepen, twee met een pretest en twee zonder pretest en daarna posttest


29

Voorbeeld van Randomized Posttest-Only Control Group Design


Posttest

Posttest

1treatmentRandomization

Randomization

0No treatment

30

Voorbeeld van Randomized Posttest-Only Control Group Design


31

Voorbeeld van Randomized Pretest-Posttest Control Group Design


Posttest

Posttest

1treatmentRandomization

Randomization

0No treatment

Pretest

Pretest

32

Voorbeeld van een Randomized Solomon Four-Group Design


To eliminate the possibe effect of a pretest

33

Wanneer pretest gebruiken?

Vergelijkbaarheid van groepen nagaan(controle van randomisering en van uitval)

Learning gain / Leerwinst nagaan

Differentiele effecten van de interventie(effect afhankelijk van hoogte van voormeting)

Nadeel van een pretesttesting als validiteitsbedreiger


34

Beperkingen van het experiment

Generaliseerbaarheid (externe validiteit) Ethische en politieke overwegingen Niet geschikt voor interventieprogramma in

beginfase Tijd en kosten


35

Random toewijzing met matching

Om equivalentie te bevorderen worden paren onderzoekseenheden gevormd die op kernvariabelen op elkaar lijken

Vervolgens per paar de onderzoekseenheden aselect toewijzen aan de condities


36

Randomized Posttest-Only Control Group Design met matching


37

Mechanisch versus statistisch matchen Mechanisch matching: zoals aangegeven

Nadeel 1: limit the number / moeilijk bij veel variabelen Nadeel 2: loss of subjects / een persoon valt uit dan paar

kwijt

Statisch matching (ook wel: statistisch equivaleren of statistische verrekening): Voorkomt deze nadelen Voorspelde score op basis van samenhang tussen de

variabelen Verschil voorspelde-geobserveerde score (‘degree of

overachievement’) is waar we mee gaan werken Techniek: covariantie-analyse (ANCOVA)


38

Statistische controle: covariantie-analyse

Statistisch corrigeren van tussen de groepen gemeten verschillen op de relevant geachte externe variabelen (3de variabele = covariaat)

Ideaaltypisch voorbeeld:

Na-toets

O2

Voortoets O1

Experimentele groep

Controle groep

Regressielijn exp. groep: O2 = .3O1 + 8Regressielijn contr. groep: O2 = .3O1 + 1

Interventie heeft een gemiddeldeffect van 8 - 1 = 7.


39

Quasi-experimentele Designs Geen randomisering maar andere technieken om de

validiteitsbedreigers onder controle te houden

Matching-only design

Als matchen maar dan zonder aselecte toewijzing

Counterbalanced design

Alle groepen krijgen alle interventies maar in een verschillende volgorde

Time-series design

Herhaalde metingen zowel voor als na de interventie


seemingseeming

40

Voorbeeld van een Counterbalanced Design


41

Voorbeelden van uitkomsten bij een Time-Series Design


42

Factoriele Designs

Een (soms meer) extra onafhankelijke variabele

Biedt de mogelijkheid om interacties te onderzoeken (moderatorvariabele)


43

Voorbeeld van een Factoriele Design


2*2 Factorial Design2*2 Factorial Design

>>

><

44

Chapter 13 Experimental ResearchVoorbeeld van een Factoriele Design

Teaching style

Ageauthority facilitator demonstrator

Junior

Senior

2*3 Factorial Design2*3 Factorial Design

45


Experimental Research DesignsWeakTrueQuasiFactorial

46

Chapter 14 Single-Subject Research Single subject design

47

Essentiele kenmerken

Chapter 14 Single-Subject Research

Voorkeur voor een enkel subject boven een hele groep

Intensieve gegevensverzameling (met veel metingen / observaties) wenselijk

Single-subject design is een variant op het time-series design

48

Single-Subject Design


Gebruik van grafische weergave – optische inspectieEerst een baseline, gevolgd door de interventie (onafhankelijke variabele) Condition lines laat zien of er een verandering in de interventie is opgetreden Data punten representeren wanneer de data werden verzameld (x-as) en wat de metingen op de afhankelijke aan scores hebben opgeleverd

49

Types Single-Subject Designs


A-B Design Één subject wordt aan twee condities of fases onderworpen na een

reeks baseline metingen A-B-A Design

Idem maar withdrawal/verwijderingThe A-B-A-B Design

als A-B maar dan herhaaldThe B-A-B Design

Te gebruiekn als er snel een gedragsverandering nodig is (geen tijd voor baseline-metingen)

The A-B-C-B Design De “C” conditie is een variatie op de “B””-conditie om het

aandachtseffect (Hawthorne)

50

A-B Design

Chapter 14 Single-Subject Research baselinebaseline

interventionintervention

51

A-B-A Design


baselinebaseline

interventionintervention

baselinebaseline

Remove intervention

Remove intervention

52

A-B-A-B Design


53

B-A-B Design


54

Chapter 14 Single-Subject Research A-B-C-B Design

55

Chapter 14 Single-Subject Research Multiple-Baseline Design

Alternatief voor A-B-A-B design Toepassen als het niet ethisch of onmogelijk is maar de

baseline conditie terug te keren Gegevens over meerdere gedragsaspecten Interventie per gedragsaspect Als het gedrag alleen verandert na de interventie dan wordt

de interventie als oorzaak gezien

56

Chapter 14 Single-Subject Research Voorbeeld van een Multiple-Baseline Design

57

Chapter 14 Single-Subject Research Voorbeeld van een Multiple-Baseline Design

58

Chapter 14 Single-Subject Research De validiteitsbedriegers in een Single-Subject design

Zeer effectief om het volgende onder controle te houden:

Kenmerken van het subject (onderzoekseenheid)

Mortaliteit

Testing

Geschiedenis

Minder effectief om het volgende onder controle te houden:

Locatie

Kenmerken van de dataverzamelaar

Rijping

Regressie-naar-het-gemiddelde

Slecht ten aanzien van:

Hawthorne

Houding

Implementatie

59

Chapter 14 Single-Subject Research Externe Validiteit

Zwak qua generalisatiemogelijkheden

Daarom: replicatie gewenst

60

Overview Review of the last course

Instrumentation Validity and Reliability Internal Validity

Today’s course Experimental Research Single-Subject Research

Sept27 college 3

Education

Transcript of Sept27 college 3