De kansen die comparatief beoordelen biedt

Maarten Goossens

Universiteit Antwerpen

112/11/2018

Comparatief beoordelen

2

Beoordelingsfamilies (Coertjens, 2017)

3

Holistisch beoordelen

“het geheel is meer dan de som van de delen”

Betrouwbaarheid

4

Gray scale Description

1 White

2 Slightly darker than white

3 Between white and gray

4 Almost gray

5 Gray

6 Slightly darker than gray

7 Dark gray

8 Slightly darker than dark gray

9 Almost black

10 Black

Beoordelingsfamilies (Coertjens, 2017)

5

Beoordelingsfamilies (Coertjens, 2017)

Analytisch beoordelen

Criterialijsten, rubrics

“opgedeeld staat netjes”

Betrouwbaarheid

Validiteit

Gray scale Description

1 White

2 Slightly darker than white

3 Between white and gray

4 Almost gray

5 Gray

6 Slightly darker than gray

7 Dark gray

8 Slightly darker than dark gray

9 Almost black

10 Black

6

Analytisch beoordelen

Criterialijsten, rubrics

“opgedeeld staat netjes”

Betrouwbaarheid

Validiteit

Holistisch beoordelen

“het geheel is meer dan de som van de delen”

Betrouwbaarheid

Vergelijkende methoden

Paarsgewijs vergelijken

“vergelijken is puur natuur”

Absoluut (per product)

Comparatief

Beoordelingsfamilies (Coertjens, 2017)

Comparatief beoordelen

7

Welke papers is de beste?

VS

VS

Data

8

Sterke punten Werkpunten

Beoordelaar A Zeer relevante onderzoeksvraag.Deze paper draagt echt nieuwe wetenschappelijke inzichten aan.

Volgens mij kan je nog verder gaan in je praktische implicaties. Denk bv aan…

Beoordelaar B Schitterend gebruik van mixed methode. Ik zou je vervolg onderzoek nog meer in de verf zetten. Kijk eens naar (hupeldepup, 2012)

Beoordelaar C Must read!

Feedback

Data

• Rangorde• Kwaliteitsscores (in logits) met betrouwbaarheidsinterval

• Scale Separation Reliability• Geeft schatting van interbeoordelaars betrouwbaarheid (Verhavert, 2017)

• Misfit data voor beoordelaars • Welke beoordelaars hebben een ‘andere’ kijk (in vergelijking met de gedeelde

consensus van beoordelaars?)

• Misfit data voor representaties• Welke representatie(s) zijn moeilijk te beoordelen?

9

SSR= .80

Rangorde <-> punten

• 2 punten toekennen, en berekenen a.d.h.v. ability

• Voldoende meenemen (+ 1 extra punt)

10

6/2014/20

‘voldoende’ 15/20

Rangorde <-> punten

• Benchmarks

11

6/2014/2012/2010/208/20

Voorbeeld tool

- Maak enkele vergelijkingen:

URL: https://sandbox.d-pac.be

Ga naar ‘Beoordeel’

12

Voorbeeld competenties

o Schrijfvaardigheden:

Argumentatieve teksten

Synthese teksten

Creatieve teksten

Formele brieven

o Onderzoeksvaardigheden:

Wetenschappelijke rapporten

Papers

Bachelor-master proeven

Labo verslagen (tekst + grafieken)

Zelfreflecties

o Probleemoplossing

Wiskunde

Statistiek

ER diagrammen (schema)

13

o Beeldende vaardigheden

Schetsen (image)

Moodboards (image)

Personal branding (poster)

Animatiefilms (movie)

o Spreekvaardigheden

Presenteren (movie)

Interviewen (movie/audio)

o Combinaties

Porfolio’s

Stages (video)

Werkwijze

14

Praktijkvoorbeelden

15

Selectie/summatief beoordelen

• 50 studenten multimedia -> 50 animatics

• 9 beoordelaars• Docenten• Professionals: geluidshuis, software bedrijf, grafische vormgever/illustrator

• Werkbelasting: • 347 vergelijkingen

• 14 vergelijkingen per animatic• 38 vergelijkingen per beoordelaar

• 80 sec. per vergelijking = 50 min.

• Resultaat:• Betrouwbaarheid rangorde .72

16

Peer assessment

• Eenvoudig studenten beoordelen even betrouwbaar als docenten (SSR beide groepen = .77; correlatie = .65)

• Veilig want alles gaat anoniem

• Leerkansen:• Vergelijken• Feedback formuleren• Feedback krijgen

• Sterke en verbeterpunten• Positie in rangorde

• Voorbeelden • Mediërende rol docent

17

Peer assessment leercyclus

18

10 taken

Bespreking Versie 1

Bespreking

Summatief?

Combinatie peer assessment/summatief

19

Studenten:- Rangorde van minst goede tot beste paper via CJ- Gem. 10 min per vergelijking- Feedback = relevant, eerlijk en terecht, hoeveelheid is een

meerwaarde

Combinatie peer assessment/summatief

20

Studenten:- Rangorde van minst goede tot beste paper via CJ- Gem. 10 min per vergelijking- Feedback = relevant, eerlijk en terecht, hoeveelheid is een

meerwaardeTutoren:- 14 fails- Gelijkaardige FB

Combinatie peer assessment/summatief

21

Studenten:- Rangorde van minst goede tot beste paper via CJ- Gem. 10 min per vergelijking- Feedback = relevant, eerlijk en terecht, hoeveelheid is een

meerwaardeTutoren:- 14 fails- Gelijkaardige FB

Laattijdig ingediend->fail ongeacht kwaliteit

Professionalisering

• Voorbeeld Ahovoks• 9 interne beoordelaars

• 16 externe beoordelaars

• 37 teksten

• Pre-test: 5 misfits

• Professionaliseringsdag

• Post-test: 1 misfit

22

Rangorde internen

Data externe 1

Data externe 2

Data externe …

Kwaliteitszorg / peilingsonderzoek

23

Welke uitspraak typeert onze school het beste?

Wij doen de nodige inspanningen opdat elke leerling zich goed voelt op school

Onze lessen sluiten aan bij de voorkennis van de leerlingen.

A B

Welke uitspraak typeert jou het best op dit moment?

Ik vind ‘goed’ vaak niet goed genoeg

Ik doe het liefst alles zelf

A B

Ik kan goed delegerenAls iets mislukt, voel ik me schuldig

Live assessment

• Beoordelen interactieve installaties (Avans)

• Beoordelen afstudeerprojecten architectuur (UA)

24

Live assessment

Procedure

A. Demo/presentatie

B. Beoordelen met D-PAC

C. Punten toekennen

25

Live assessment

• Bevindingen• ‘Doet recht’ aan werken

• Beoordelen snel en simpel

• Elk jury-lid kan zich vinden in punten

• Tijd voor feedback

26

Toekomstmogelijkheden

27

Kwaliteitszorg beoordelingen

• Bijvoorbeeld op departementen/academies• Groeien we over de jaren heen naar elkaar toe als beoordelaars?

• Hoe evolueert dit als er mensen de instelling verlaten/bijkomen?

• Is er genoeg diversiteit?

• Hoe verhouden we ons als docenten tot het werkveld?

• Benchmarks

28

Rangorde jaar 1/ klas A/…

Rangorde jaar 2/ Klas B/…

Leerwinstmonitoring

29

• Benchmarks/schalen hergebruiken• Over opdrachten heen

(zelfde competentie)

• Over jaren heen

Centrale toetsing

30

• Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland

• Individuen, klassen, jaren, scholen,… inschalen op representatieve schaal

bewaken standaard

tendensen en evoluties op ≠ niveaus

succesvolle interventies?

Conclusie

• Comparatief beoordelen genereert rijke data die leerkansen biedt op alle niveaus en zou daarom een plaats moeten krijgen in elk evaluatiebeleid

31

Referenties

• Bouwer, R., Goossens, M., Mortier, A., Lesterhuis, M., & De Maeyer, S. (2018). Een comparatieve aanpak voor peer assessment : leren door te vergelijken. In D. Sluijsmans & M. Segers (Eds.), Toetsrevolutie : naar een feedbackcultuur in het hoger onderwijs (pp. 92–106). Phronese.

• Coertjens, L., 2017: Key-note op D-PAC event. UAntwerpen

• Lundstrom, K., & Baker, W. (2009). To give is better than to receive: The benefits of peer review to the reviewer's own writing. Journal of second language writing, 18(1), 30-43.

• Rollinson, P. (2005). Using peer feedback in the ESL writing class. ELT journal, 59(1), 23-30.

32

Informatie

• www.d-pac.be

• maarten.goossens@uantwerpen.be

33