Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers,...
-
Upload
katrien-de -
Category
Documents
-
view
214 -
download
0
Transcript of Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers,...
![Page 1: Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR (judith.gulikers@wur.nl)](https://reader035.fdocuments.in/reader035/viewer/2022062513/5551a0ed4979591f3c8b55a2/html5/thumbnails/1.jpg)
Beoordelen van competenties:Ontwerpen van authentieke performance
assessments
Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR ([email protected])
![Page 2: Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR (judith.gulikers@wur.nl)](https://reader035.fdocuments.in/reader035/viewer/2022062513/5551a0ed4979591f3c8b55a2/html5/thumbnails/2.jpg)
Wat gaan we doen?
CGO vraagt ‘andersom denken’ Performance assessment / authentiek assessment Ontwerpen van een AA:
Stappenplan Stiggins 5-dimensionale model authentiek beoordelen
Rubrics: hoe, waarom (niet)?
![Page 3: Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR (judith.gulikers@wur.nl)](https://reader035.fdocuments.in/reader035/viewer/2022062513/5551a0ed4979591f3c8b55a2/html5/thumbnails/3.jpg)
Andersom denken
Beroepsrelevante,
herkenbare
uitkomsten
(= competenties)
Onderwijs:
lessen
Beoordelings-
criteria en situatie
voor assessment
Vakken
Inhoud
Toetsen
Onderwijs:
Leeractviteiten
![Page 4: Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR (judith.gulikers@wur.nl)](https://reader035.fdocuments.in/reader035/viewer/2022062513/5551a0ed4979591f3c8b55a2/html5/thumbnails/4.jpg)
Competentiegericht beoordelen
CGO zegt iets over het wat niet over het hoe Wat gebaseerd op de SHL competenties / werkprocessen Wat moet terugkomen in beoordelingscriteria De geschikte toetsmethode hierbij is, is pas vervolgvraag
Maar: binnen CGO filosofie wel andere doelen voor “toetsen” andere “toets”kenmerken hoog gewaardeerd én bepaalde beoordelingsvormen passen beter bij
competentiegerichte filosofie
![Page 5: Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR (judith.gulikers@wur.nl)](https://reader035.fdocuments.in/reader035/viewer/2022062513/5551a0ed4979591f3c8b55a2/html5/thumbnails/5.jpg)
Cruciale vraag in CGO
Om te beoordelen of iemand goed kan functioneren in de beroepspraktijk, wat moet er dan allemaal getoetst worden?
En als we dat dan weten: Hoe maken we dan een goede toets hiervoor? Hoe laten we de praktijk op een goede manier
terug komen in de toetsing?
![Page 6: Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR (judith.gulikers@wur.nl)](https://reader035.fdocuments.in/reader035/viewer/2022062513/5551a0ed4979591f3c8b55a2/html5/thumbnails/6.jpg)
Inkomertje 1……………… Competentie?
“Koe Bertha is al twee dagen niet opgestaan, haar poep is dunner dan het moet zijn en je meent iets te zien aan haar vacht en ogen. De boer is er niet. Wat nu?”
Beschrijf de handelingen die je zou uitvoeren.
Waar hou je rekening mee?
![Page 7: Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR (judith.gulikers@wur.nl)](https://reader035.fdocuments.in/reader035/viewer/2022062513/5551a0ed4979591f3c8b55a2/html5/thumbnails/7.jpg)
Competente dierenverzorger?
‘Kennis over’ is niet genoeg voor competentie uitspraak
Observatie van daadwerkelijke handelen nodig (actie)
Interactie met koe in de stal en overleg met de boer (context)
Bewust handelen?
![Page 8: Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR (judith.gulikers@wur.nl)](https://reader035.fdocuments.in/reader035/viewer/2022062513/5551a0ed4979591f3c8b55a2/html5/thumbnails/8.jpg)
Inkomertje 2 …….. Competentie??
Vind je het praktische gedeelte van het
rijexamen een goed examen?
Waarom wel? Waarom niet?
![Page 9: Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR (judith.gulikers@wur.nl)](https://reader035.fdocuments.in/reader035/viewer/2022062513/5551a0ed4979591f3c8b55a2/html5/thumbnails/9.jpg)
Competente automobilist?
Half uurtje goed rijden kan toevalstreffer zijn
Niet alle activiteiten behorende bij goed autorijden aan bod gekomen
Niet alle voorkomende situaties gedekt Bewust handelen? Routine?
![Page 10: Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR (judith.gulikers@wur.nl)](https://reader035.fdocuments.in/reader035/viewer/2022062513/5551a0ed4979591f3c8b55a2/html5/thumbnails/10.jpg)
WAT wil je toetsen? Piramide van Miller
Knows Feitgerichte toetsen: MCQ, open vragen, mondeling…..
Knows how Contextueel rijke toetsen:MCQ, open vragen, mondeling…..
Shows how Performance assessment in vitro:Observatie, simulaties…………....
DoesPerformance assessment in vivo: Praktijkbeoordeling, video…..
Aut
hent
icite
it
![Page 11: Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR (judith.gulikers@wur.nl)](https://reader035.fdocuments.in/reader035/viewer/2022062513/5551a0ed4979591f3c8b55a2/html5/thumbnails/11.jpg)
Performance assessment (PA)
Laag 3 / 4 van Miller
Beoordelen of iemand kan functioneren in deberoepspraktijk Demonstreren van gedrag: ACTIE In betekenisvolle situatie: IN CONTEXT
Achterliggende gedachte: als iemand goed gedrag laat zien bezit hij/zij de onderliggende KVA’s
![Page 12: Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR (judith.gulikers@wur.nl)](https://reader035.fdocuments.in/reader035/viewer/2022062513/5551a0ed4979591f3c8b55a2/html5/thumbnails/12.jpg)
Controle op conducteurs
UTRECHT – Kantoorbedienden en andere medewerkers van de NS kijken in de trein de conducteur op de vingers. Het NS-personeel houdt bij hoe vaak een conducteur kaartjes controleert en of er voldoende informatie bij vertragingen wordt gegeven.
Performance assessment gekaderd
Proeve vanbekwaamheid
Performanceassessment
Retrospectievebeoordeling
MysteryguestA
ssess
or
is:
expliciet aanwezig
impliciet aanwezig
Te beoordelen gedrag is:
reactie op natuurlijke gang van zaken
reactie op uitlokking
Voorbeeld:Beoordelingen tijdens de LIO (leraar in opleiding)-
stage
Voorbeeld:360 graden feedback
In vitroIn vivo
![Page 13: Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR (judith.gulikers@wur.nl)](https://reader035.fdocuments.in/reader035/viewer/2022062513/5551a0ed4979591f3c8b55a2/html5/thumbnails/13.jpg)
Niet denken vanuit methode
Het maken van PA mag niet het doel op zich zijn!
WAT wil ik gaan beoordelen?
Is PA de goede vorm hierbij?
Beroepsonderwijs: toetsen relevant voor praktijk Authentiek beoordelen
Cruciaal criterium Inspectie: Is de
gekozen beoordelingsvorm
passend?
![Page 14: Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR (judith.gulikers@wur.nl)](https://reader035.fdocuments.in/reader035/viewer/2022062513/5551a0ed4979591f3c8b55a2/html5/thumbnails/14.jpg)
Wat maakt een assessment
authentiek???
“The criterion for a good test is its congruence with reality” Wiggins (1993, p. 206)
![Page 15: Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR (judith.gulikers@wur.nl)](https://reader035.fdocuments.in/reader035/viewer/2022062513/5551a0ed4979591f3c8b55a2/html5/thumbnails/15.jpg)
Hoe nu aan de slag?
4-stappenplan van Stiggins voor systematisch ontwerpen van performance assessments
5 dimensionaal model voor authentieke toetsing Gulikers (2005)
![Page 16: Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR (judith.gulikers@wur.nl)](https://reader035.fdocuments.in/reader035/viewer/2022062513/5551a0ed4979591f3c8b55a2/html5/thumbnails/16.jpg)
4 stappen
1. Toetsspecificatieplan: Redenen voor beoordeling
2. Prestatiespecificatie: Welke prestatie moet geëvalueerd worden en onder welke condities
3. Opdrachten: creëren van mogelijkheid geven tot demonstreren van competent gedrag
4. Beoordelingsplan: om beoordeling zo expliciet, gemotiveerd en betrouwbaar mogelijk te maken
![Page 17: Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR (judith.gulikers@wur.nl)](https://reader035.fdocuments.in/reader035/viewer/2022062513/5551a0ed4979591f3c8b55a2/html5/thumbnails/17.jpg)
Stap 1: Toetsspecificatieplan
Doel en functie van beoordeling:summatief en/of formatief?Inrichten van onderwijstraject (EVC)?
Specificeer de studenten (aantal, niveau) Wie zijn de beoordelaars en de beslissers? Relevante randvoorwaarden?
![Page 18: Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR (judith.gulikers@wur.nl)](https://reader035.fdocuments.in/reader035/viewer/2022062513/5551a0ed4979591f3c8b55a2/html5/thumbnails/18.jpg)
Stap 2: prestatiespecificatie
WAT wil je gaan beoordelen? WAT moet student laten zien?
Wat is beroepspraktijk van deze opleiding? Kritische beroepssituatie benoemen Rollen van opleiding benoemen
Welke competentie(s) zijn hierin nodig?
Maar hoe krijgt dit vorm in een concreet assessment?
Gebruik van 5-dimensionale model :
5 assessment aspecten kunnen
meer / minder
op beroepspraktijk (referentiesituatie) lijken
![Page 19: Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR (judith.gulikers@wur.nl)](https://reader035.fdocuments.in/reader035/viewer/2022062513/5551a0ed4979591f3c8b55a2/html5/thumbnails/19.jpg)
5-dimensionaal model voor authenticiteit
Authentieke beoordeling
&
Authentieke instructie
![Page 20: Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR (judith.gulikers@wur.nl)](https://reader035.fdocuments.in/reader035/viewer/2022062513/5551a0ed4979591f3c8b55a2/html5/thumbnails/20.jpg)
Authenticiteit is méér dan alleen een fysieke context!
Overeenkomstig de beroepspraktijk: 5 dimensies
Taak: opdracht die leerling moet uitvoeren
Fysieke context: omgeving/situatie waarin taak moet worden uitgevoerd
Sociale context: samenwerkings- en hulp (on)mogelijkheden
Vorm: leer- / assessmentmethode, onafhankelijk van inhoud
Criteria: punten waarop leerling wordt beoordeeld
![Page 21: Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR (judith.gulikers@wur.nl)](https://reader035.fdocuments.in/reader035/viewer/2022062513/5551a0ed4979591f3c8b55a2/html5/thumbnails/21.jpg)
Vervolg stap 2: Opdrachtenschema
1. Welke criteria gebruikt praktijk voor goed handelen in beroepssituatie?
2. Vertaal criteria naar niveau van de student en in concreet waarneembaar gedrag
Welke taken passen bij deze criteria? In welke context? Vraagt dit samenwerking / hulp? Gaat het om een product of proces? (vorm)
![Page 22: Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR (judith.gulikers@wur.nl)](https://reader035.fdocuments.in/reader035/viewer/2022062513/5551a0ed4979591f3c8b55a2/html5/thumbnails/22.jpg)
Stap 3: Ontwerp van opdrachten
Uitlokken van gedrag? Wil je gaan uitlokken of juist niet? Transparant maken in assessmentopdracht
Assessment programma: 1 PA genoeg om gehele kritische beroepssituatie te
beoordelen? Meerdere PA’s nodig? Combineren met andere toetsvormen?
Competentie assessment programma (Baartman, et al 2004); Protocol portfolio scoring (Straetmans, 2004)
![Page 23: Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR (judith.gulikers@wur.nl)](https://reader035.fdocuments.in/reader035/viewer/2022062513/5551a0ed4979591f3c8b55a2/html5/thumbnails/23.jpg)
Stap 4: beoordelingsplan
Beoordelingscriteria Beoordelen van gedrag vraagt om beoordelingscriteria
gericht op observeerbaar gedrag!!
Gebruik van rubrics leent zich goed: niveaus van gedrag
Welk type score is nodig?Holistisch of analystisch
Transparant maken voor alle partijen!
![Page 24: Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR (judith.gulikers@wur.nl)](https://reader035.fdocuments.in/reader035/viewer/2022062513/5551a0ed4979591f3c8b55a2/html5/thumbnails/24.jpg)
Stap 4: beoordelingsplan, vervolg
Beoordelaars Wie beoordeelt / hoeveel beoordelaars? Zelf-assessment / peer-assessment onderdeel?Training nodig voor assessoren?
Beoordelingsprocedure Hoe verloopt beoordelingsproces / hoe komt
eindoordeel tot stand? (zwak punt!)
Hoe verloopt feedback?
![Page 26: Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR (judith.gulikers@wur.nl)](https://reader035.fdocuments.in/reader035/viewer/2022062513/5551a0ed4979591f3c8b55a2/html5/thumbnails/26.jpg)
Rubric: wat is het?
= beschrijving van een aantal concreet te observeren gedragsniveaus (van eenvoudiger naar complexer) op een beoordelingscriterium
Verschillende soorten schalen Anayltisch / holistisch Kwalitatief / kwantitatief
![Page 27: Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR (judith.gulikers@wur.nl)](https://reader035.fdocuments.in/reader035/viewer/2022062513/5551a0ed4979591f3c8b55a2/html5/thumbnails/27.jpg)
Competentie: samenwerken
Beoordelingscriterium: luisteren naar anderen
1. Nooit
2. Soms
3. Vaak
4. Vrijwel altijd
![Page 28: Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR (judith.gulikers@wur.nl)](https://reader035.fdocuments.in/reader035/viewer/2022062513/5551a0ed4979591f3c8b55a2/html5/thumbnails/28.jpg)
Competentie: leiding geven
Beoordelingscriterium: omgaan met kritiek
1
Student kan niet tegen kritiek en reageert agressief /
verdedigend
2
Student negeert kritiek en gaat eigen gang
3
Student luistert naar kritiek van anderen maar doet er niets mee
4
Student doet actief iets met kritiek om eigen gedrag te verbeteren
![Page 29: Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR (judith.gulikers@wur.nl)](https://reader035.fdocuments.in/reader035/viewer/2022062513/5551a0ed4979591f3c8b55a2/html5/thumbnails/29.jpg)
Competentie: samenwerken in team
Beoordelingscriterium: Actieve inzet tonen
Neemt initiatieven 1 2 3 4 5 Wacht af
Zegt tijdig wat hij/zij wil
1 2 3 4 5 Komt achteraf met kritiek
Neemt voorzittersrol of ondersteunt deze
1 2 3 4 5 Houdt zich niet aan vergaderprocedures
Geeft steeds aan wat gedaan moet worden
1 2 3 4 5 Gaat eigen gang
![Page 30: Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR (judith.gulikers@wur.nl)](https://reader035.fdocuments.in/reader035/viewer/2022062513/5551a0ed4979591f3c8b55a2/html5/thumbnails/30.jpg)
Voordelen / mogelijkheden van Rubrics• Communicatie instrument: transparantie voor
leerlingen / beoordelaars
• Ontwikkelen en voorbereiden van leerlingen
• Trainen van beoordelaars: zelfde intrepretatie geven
• Objectievere beoordeling
• Geven van feedback
Zeer waardevol voor:
1. Aansluiting onderwijs – formatief / summatief assessen (zwak!!)
2. Gebruiken bij alle beoordelingsvormen
![Page 31: Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR (judith.gulikers@wur.nl)](https://reader035.fdocuments.in/reader035/viewer/2022062513/5551a0ed4979591f3c8b55a2/html5/thumbnails/31.jpg)
Maar gaat niet vanzelf
Rubric maken is erg tijdsintensief Vraagt samenwerking en afstemming tussen betrokkenen Alles willen objectiveren kan niet Valkuil: terug naar gedetailleerd beoordelen ipv holistisch Nog niet vaak in onderwijs / formatief gebruikt Gevaar van wildgroei aan rubrics
Zoeken naar een goede balans!