Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment...

of 42 /42
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen im Bereich der Dozentenrückmeldung, des Studierenden-Mentorings und der curricularen Weiterentwicklung Johann Arias Alexander Schiffel Sonja Finsterer Wolfgang Dott Melanie Simon

Transcript of Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment...

Page 1: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

Summatives Assessment undformatives Progress Testing

Kombination zweier Evaluationsformen im Bereich der Dozentenrückmeldung, des Studierenden-Mentorings und der curricularen Weiterentwicklung

Johann AriasAlexander Schiffel

Sonja FinstererWolfgang DottMelanie Simon

Page 2: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

Bausteine eines Evaluationsergebnisses

Page 3: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

Bausteine eines Evaluationsergebnisses

Page 4: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

• Gründe– Erreichen des „Ziels“– Curriculare

Weiterentwicklung– Verpflichtung

• „… den gesetzlichen Anforderungen wird Genüge getan“

• meist ohne Auswirkungen

Evaluation in der Lehre

Page 5: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

• Evaluation wird zum Selbstzweck?– Potential für die

Qualitätssicherung wird nicht erkannt

• Evaluation wird zu Entscheidungen missbraucht?– Negatives Image– Opinion based vs. Evidence

based

Kromrey, H. [2005]

Probleme der Lehrevaluation

Page 6: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

Ziele der Lehre

• Welche Ziele hat ein Studiengang?– „Ziel […] ist der wissenschaftlich und praktisch in der Medizin ausgebildete Arzt

[…]. Die Ausbildung soll grundlegende Kenntnisse, Fähigkeiten und Fertigkeiten in allen Fächern vermitteln, […]“ (ÄAppO, 2003)

• Wie sollen die Ziele erreicht werden?– Qualität in der Lehre (Identifizieren und Beheben

von Problemen)– Vermittlung von Wissen und Kompetenzen der

Absolventen

• Woran erkennt man die Zielerreichung?– Befragen der Zielgruppen und

Prüfungsergebnisse

Spiel, C. [2011]

Page 7: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

• Studentische Lehrveranstaltungs-Evaluation– Vorteile

• bewährte standardisierte Fragebögen• Hoher Erfahrungswert

– Probleme• Hoher Einfluss individueller Studienmotivation und

Erwartungshaltung• Image des/der Dozenten/Dozentin und keine

Vergleichsmöglichkeit• Positive Bewertung der Lehrveranstaltung nicht gleichbedeutend

mit Lernerfolg

Welche Formen der Evaluation stehen aktuell zur Verfügung? (1)

Page 8: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

• Outcome-basierte Prüfungen

– Summativ– Formativ

– Messung von Wissenszuwachs und Kompetenz durch Prüfungen• Kursnoten und sonstige Testergebnisse sind Indikatoren für Qualifikation

– Herausforderungen• Qualität der Prüfungsfragen (Relevanz, Aussagekraft)

=> Reviewprozess

Welche Formen der Evaluation stehen aktuell zur Verfügung? (2)

Page 9: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

Aachener Modellstudiengang Medizin

1. Ärztl. Prüfung

2. Ärztl. Prüfung

1.+2. Studien-abschnitt

3. Studien-abschnitt & PJ

Progress Tests Progress Tests

60 Kursprüfungen summativ fachbezogen

2 Staatsexamina summativ allgemein

12 Progress Tests formativ allgemein

Page 10: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

• Idee entstanden in den 70er Jahren• Vorreiter in NL und GB• Organisiert von der Charité, Berlin

(seit 1999)• Kooperation zwischen 15

Medizinischen Fakultäten- Fakultätsvergleiche

• Zentrale Fragendatenbank- Reviewprozesse

• 200 MC-Fragen auf Absolventenniveau

• Blueprint 14 Organsysteme,27 Fachgebiete

Progress Test Medizin (PTM)

Page 11: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

• Idee entstanden in den 70er Jahren• Vorreiter in NL und GB• Organisiert von der Charité, Berlin

(seit 1999)• Kooperation zwischen 15

Medizinischen Fakultäten- Fakultätsvergleiche

• Zentrale Fragendatenbank- Reviewprozesse

• 200 MC-Fragen auf Absolventenniveau

• Blueprint 14 Organsysteme,27 Fachgebiete

Progress Test Medizin (PTM)

Organsystem Anzahl FragenAllgemeine Krankheitslehre 10Atmungsorgane 22… ..… ..… ..… ..… ..… ..… ..… ..… ..… ..… ..… ..

Page 12: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

Synthese der Evaluationsformen

Evaluations-Datenbank

Progress Test

Ergebnisse

Summative Ergebnisse

PTM Ergebnisse

Stud.LV-Evaluation

Page 13: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

Bezüge zwischen summativen und formativen Ergebnissen

Kurse

Aachener Curriculum

Progress Test

Organsysteme

Fachgebiete

MC-Fragen

1 MC-Frage : 1 Organsystem + 1 Fachgebiet

Page 14: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

Bezüge zwischen summativen und formativen Ergebnissen

Kurse

Aachener Curriculum

Progress Test

Organsysteme

Fachgebiete

MC-Fragen

1 MC-Frage : 1 Organsystem + 1 Fachgebiet1 Kurs : n Organsysteme + m Fachgebiete

Page 15: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

Bezüge zwischen summativen und formativen Ergebnissen

Kurse

Aachener Curriculum

Progress Test

Organsysteme

Fachgebiete

MC-Fragen

1 MC-Frage : 1 Organsystem + 1 Fachgebiet1 Kurs : n Organsysteme + m Fachgebiete=> 1 MC-Frage : x Kurse

Page 16: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

?Wissensentwicklung im

Curriculum

Vergleiche von Evaluationsformen

Dozenten-Rückmeldung

Studierenden-Rückmeldung

Page 17: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

Wissensentwicklung Gesamt

Page 18: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

Wissensentwicklung Atmungsorgane

Page 19: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

Wissensentwicklung Atmungsorgane

Page 20: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

Wissensentwicklung Atmungsorgane

Page 21: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

Wissensentwicklung Atmungsorgane

WS 10/11

WS 10/11 WS 10/11

WS 10/11

WS 10/11

Page 22: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

?Wissensentwicklung im

Curriculum

Vergleiche von Evaluationsformen

Dozenten-Rückmeldung

Studierenden-Rückmeldung

Page 23: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

• Gibt es übereinstimmende Tendenzen beider Evaluationsformen?

– „Der persönliche Lerneffekt für mich war…“:– 1- sehr hoch bis 6- nicht vorhanden

Fragestellungen an den Vergleich PTM/Studentische LV-Evaluation

=?

Page 24: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

Vergleich PTM/Studentische LV-Evaluation

Page 25: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

„Der persönliche Lerneffekt für mich war…“: 1- sehr hoch bis 6- nicht vorhanden

Vergleich PTM/Studentische LV-Evaluation

Page 26: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

?Wissensentwicklung im

Curriculum

Vergleiche von Evaluationsformen

Dozenten-Rückmeldung

Studierenden-Rückmeldung

Page 27: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

Rückmeldung an Dozenten

Page 28: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

Rückmeldung an Dozenten

Page 29: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

?Wissensentwicklung im

Curriculum

Vergleiche von Evaluationsformen

Dozenten-Rückmeldung

Studierenden-Rückmeldung

Page 30: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

• Beratung in der Medizinischen Fakultät seit 2003- Ein Berater pro Jahrgang (jeweils ca. 250

Studierende)- Gruppen- und Einzelgespräche

• Ziele– Verbesserung der Prüfungsleistungen– Studiendauer reduzieren– Frühzeitiges Erkennen von Bedürfnissen,

Problemen und Potentialen• Studierende gezielter kontaktieren

– Self-Assessment fördern

Mentoring Konzept

Page 31: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

Student A Student B

Kurzübersicht

Page 32: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

Vergleich Summativ/Formativ

Page 33: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

Vergleich Summativ/Formativ

Page 34: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

• Identifizierung vorhandener Evaluationsformen– Zusammenführung und Vergleich war

weiterführend

• Neue Themen in der Studierendenberatung– Bessere Einschätzung von Stärken und

Schwächen– Lerntypen identifizieren– Nachhaltigkeit von Gelerntem

Zusammenfassung

Page 35: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

Fazit

Stud. LV

-

Bewertung Su

mmative

Prüfunge

n

Form

ative

Prüfunge

n

Evaluation

Page 36: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

Akzeptanz, Nachhaltigkeit

Valides Evaluationsergebnis

Fazit

Page 37: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

• Erstellung eines Lernzielkatalogs– Eigenes Curriculum daran ausrichten und überprüfen

• Kompetenzvermittlung durch angepasste Prüfungsformate• Weg von reiner Bewertung anhand von Abschlussprüfungen

– Datenlage zur Bewertung nach Studienabschluss nicht vorhanden

• Optimierung der Evaluationsformen– Mentoringbedarf erkennen– Zugang Mentoring-Tool für Studierende– Bedarfsorientiertes Dozentenfeedback– Studentische Lehrevaluation weiter analysieren– Reviewprozess der summativen Prüfungsfragen

Ausblick

Page 38: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

• An das PTM Team der Charité• Kollegen im Aachener Modellstudiengang

Medizin

Vielen Dank

Page 39: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

AACHEN

www.gma2012.de

Page 40: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

• Evaluation– Von Lehrveranstaltungsevaluation zu

Curriculumsentwicklung. Spiel , GMA 2011http://www.gma2011.de/index.php?option=com_content&view=article&id=420&Itemid=581&lang=en

– Zwischen Selbstzweck und Qualitätsmanagement. Quo vadis, Evaluatione? Spiel et al. In C. Spiel (Hrsg.), Evaluation universitärer Lehre - zwischen Qualitätsmanagement und Selbstzweck (S. 9-20). Münster: Waxmann., 2001

– Selbstevaluation in der Lehre. Beywel et al. Waxmann 2011

– Studierendenbefragung als Evaluation der Lehre? – Anforderung an Methodik und Design. Kromrey. Hg: Engel, Hochschulranking. Zur Qualitätsbewertung von Studium und Lehre, Campus Verlag, Frankfurt M., 2001

Literatur

Page 41: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

• Progress Testing– Progress testing in German speaking countries. Nouns & Georg. Medical Teacher 2010.

– Progress Testing- ein Verfahren zur detaillierten Leistungsdarstellung und Lehrevaluation auf Basis der Wissensentwicklung von Studierenden. Nouns & Brauns. Blickpunkt Hochschuldidaktik 2008.

– Flexible electronic feedback using the virtues of progress testing. Muijtjens et al. Medical teacher 2010.

– Medical Teacher. Progress Testing Themed Issue. Volume 32, Number 6, June 2010, AMEE

• Mentoring– Querschnittsevaluation des Medizinischen Curriculums München (MeCuM) mit

Hilfe des Progress Tests Medizin (PTM). Schmidmaier et al. GMS Z Med Ausbild 2010.

– Aufbau eines innovativen Mentorenprogramms für eine große Zahl Medizinstudierender nach quantitativer und qualitativer Bedarfsanalyse. von der Borch et al. GMS Z Med Ausbild 2011, Vol. 28(2)

Literatur

Page 42: Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen.

Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012

• Welche Ziele hat ein Studiengang?• Wie sollen die Ziele erreicht werden?• Woran erkennt man die Zielerreichung?• Sind die entsprechenden Ressourcen

vorhanden?

• Evaluationsformen an Ihrer Fakultät?• Progress Test in anderen Fachrichtungen?• Lernzielkatalog für andere Fachrichtungen?• Reviewprozesse für Kursprüfungsfragen?

Diskussion