Die Evaluation von Lehrveranstaltungen und Lehrenden ist für alle Hochschulen, einschließlich medizinischer Fakultäten, von entscheidender Bedeutung. Studierendenbefragungen zur Lehrveranstaltungsevaluation (STE) erfolgen üblicherweise in Form anonymer Fragebögen. Ursprünglich zur Evaluation von Kursen und Studiengängen entwickelt, werden sie mittlerweile auch zur Messung der Lehrwirksamkeit und zur Unterstützung wichtiger lehrbezogener Entscheidungen eingesetzt. Die professionelle Weiterentwicklung von Lehrenden ist ebenfalls von Bedeutung. Allerdings können bestimmte Faktoren und Verzerrungen die Ergebnisse von STE beeinflussen, sodass die Lehrwirksamkeit nicht objektiv messbar ist. Obwohl die Literatur zur Kurs- und Lehrendenevaluation im allgemeinen Hochschulwesen gut etabliert ist, bestehen Bedenken hinsichtlich der Anwendung derselben Instrumente zur Evaluation von Kursen und Lehrenden in medizinischen Studiengängen. Insbesondere lassen sich STE aus dem allgemeinen Hochschulwesen nicht direkt auf die Lehrplanentwicklung und -umsetzung an medizinischen Fakultäten übertragen. Dieser Artikel bietet einen Überblick darüber, wie STE auf Instrumenten-, Management- und Interpretationsebene verbessert werden kann. Darüber hinaus zeigt er auf, dass durch die Anwendung verschiedener Methoden wie Peer-Review, Fokusgruppen und Selbsteinschätzung zur Erhebung und Triangulation von Daten aus unterschiedlichen Quellen – darunter Studierende, Kommilitonen, Studiengangsleiter und Selbstreflexion – ein umfassendes Bewertungssystem entwickelt werden kann. Die Effektivität der Lehre effektiv messen, die berufliche Weiterentwicklung medizinischer Ausbilder unterstützen und die Qualität der Lehre in der medizinischen Ausbildung verbessern.
Die Evaluation von Lehrveranstaltungen und Programmen ist ein interner Qualitätssicherungsprozess an allen Hochschulen, einschließlich medizinischer Fakultäten. Die Studierendenbefragung zur Lehrveranstaltungsevaluation (Student Evaluation of Teaching, SET) erfolgt üblicherweise in Form eines anonymen Fragebogens (Papier oder online) mit einer Bewertungsskala, beispielsweise einer Likert-Skala (meist fünf, sieben oder höher), anhand derer die Teilnehmenden ihre Zustimmung oder den Grad ihrer Zustimmung angeben können (z. B. „Ich stimme bestimmten Aussagen nicht zu“) [1,2,3]. Obwohl SETs ursprünglich zur Evaluation von Lehrveranstaltungen und Programmen entwickelt wurden, werden sie mittlerweile auch zur Messung der Lehrwirksamkeit eingesetzt [4,5,6]. Die Lehrwirksamkeit gilt als wichtig, da ein positiver Zusammenhang zwischen Lehrwirksamkeit und Lernerfolg der Studierenden angenommen wird [7]. Obwohl die Literatur die Lehrwirksamkeit nicht eindeutig definiert, wird sie üblicherweise anhand spezifischer Merkmale der Ausbildung spezifiziert, wie z. B. „Gruppeninteraktion“, „Vorbereitung und Organisation“ und „Feedback an die Studierenden“ [8].
Informationen aus Hochschulbefragungen können nützliche Erkenntnisse liefern, beispielsweise darüber, ob die Lehrmaterialien oder Lehrmethoden eines bestimmten Kurses angepasst werden müssen. Hochschulbefragungen werden auch für wichtige Entscheidungen im Bereich der Lehrerfortbildung herangezogen [4, 5, 6]. Die Eignung dieses Ansatzes ist jedoch fraglich, wenn Hochschulen Entscheidungen bezüglich des Lehrpersonals treffen, etwa Beförderungen in höhere akademische Ränge (oft verbunden mit Dienstalters- und Gehaltserhöhungen) oder die Besetzung wichtiger administrativer Positionen [4, 9]. Darüber hinaus verlangen Hochschulen häufig von neuen Lehrenden, dass sie Hochschulbefragungen ihrer vorherigen Hochschulen ihren Bewerbungen beifügen, was nicht nur die Beförderungen innerhalb der Hochschule, sondern auch potenzielle neue Arbeitgeber beeinflusst [10].
Obwohl die Literatur zu Curricula und Lehrerevaluation im Bereich der allgemeinen Hochschulbildung gut etabliert ist, trifft dies im Bereich Medizin und Gesundheitswesen nicht zu [11]. Die Curricula und Bedürfnisse medizinischer Lehrender unterscheiden sich von denen der allgemeinen Hochschulbildung. Beispielsweise wird in integrierten medizinischen Ausbildungskursen häufig Teamlernen eingesetzt. Dies bedeutet, dass das Curriculum der medizinischen Fakultät aus einer Reihe von Kursen besteht, die von mehreren Dozenten mit Ausbildung und Erfahrung in verschiedenen medizinischen Disziplinen unterrichtet werden. Obwohl Studierende in dieser Struktur vom fundierten Wissen von Experten auf ihrem Gebiet profitieren, stehen sie oft vor der Herausforderung, sich an die unterschiedlichen Lehrstile der einzelnen Dozenten anzupassen [1, 12, 13, 14].
Obwohl es Unterschiede zwischen allgemeiner Hochschulbildung und medizinischer Ausbildung gibt, wird das in der allgemeinbildenden Hochschulbildung angewandte Lehrveranstaltungsevaluationssystem (SET) mitunter auch in medizinischen und gesundheitsbezogenen Studiengängen eingesetzt. Die Implementierung von SET in der allgemeinen Hochschulbildung birgt jedoch zahlreiche Herausforderungen hinsichtlich Curriculum und Dozentenbewertung in Studiengängen der Gesundheitsberufe [11]. Insbesondere aufgrund unterschiedlicher Lehrmethoden und Qualifikationen der Lehrenden spiegeln die Ergebnisse der Kursevaluation möglicherweise nicht die Meinungen der Studierenden zu allen Lehrenden oder Kursen wider. Untersuchungen von Uytenhaage und O'Neill (2015) [5] legen nahe, dass es ungeeignet sein kann, Studierende am Ende eines Kurses alle einzelnen Lehrenden bewerten zu lassen, da es ihnen nahezu unmöglich ist, sich an mehrere Bewertungskategorien zu erinnern und diese zu kommentieren. Darüber hinaus sind viele Lehrende in der medizinischen Ausbildung gleichzeitig Ärzte, für die die Lehre nur einen kleinen Teil ihrer Aufgaben ausmacht [15, 16]. Da sie primär in der Patientenversorgung und häufig auch in der Forschung tätig sind, bleibt ihnen oft wenig Zeit, ihre didaktischen Fähigkeiten weiterzuentwickeln. Ärzte in der Lehre sollten jedoch Zeit, Unterstützung und konstruktives Feedback von ihren Organisationen erhalten [16].
Medizinstudierende sind in der Regel hochmotivierte und fleißige Personen, die sich – nach einem international wettbewerbsintensiven und anspruchsvollen Auswahlverfahren – erfolgreich für ein Medizinstudium qualifizieren. Während ihres Studiums müssen sie sich zudem in kurzer Zeit umfangreiches Wissen aneignen und zahlreiche Kompetenzen entwickeln sowie komplexe interne und umfassende nationale Prüfungen erfolgreich bestehen [17,18,19,20]. Aufgrund der hohen Anforderungen an Medizinstudierende sind diese möglicherweise kritischer und haben höhere Erwartungen an die Qualität der Lehre als Studierende anderer Fachrichtungen. Aus den genannten Gründen erhalten Medizinstudierende unter Umständen niedrigere Bewertungen von ihren Professoren als Studierende anderer Fachrichtungen. Interessanterweise zeigen frühere Studien einen positiven Zusammenhang zwischen der Motivation der Studierenden und den individuellen Bewertungen der Lehrenden [21]. Darüber hinaus wurden die meisten medizinischen Curricula weltweit in den letzten 20 Jahren vertikal integriert [22], sodass Studierende bereits in den ersten Studienjahren mit der klinischen Praxis in Berührung kommen. So haben sich Ärzte in den letzten Jahren zunehmend an der Ausbildung von Medizinstudenten beteiligt und bereits früh in ihren Programmen die Bedeutung der Entwicklung von SETs, die auf spezifische Fakultätsgruppen zugeschnitten sind, betont [22].
Aufgrund der oben genannten Besonderheiten der medizinischen Ausbildung sollten die zur Bewertung allgemeiner Hochschulkurse, die von einem einzelnen Dozenten gehalten werden, verwendeten standardisierten Evaluationstests (SETs) angepasst werden, um das integrierte Curriculum und die klinische Fakultät medizinischer Studiengänge zu evaluieren [14]. Daher besteht Bedarf an der Entwicklung effektiverer SET-Modelle und umfassenderer Bewertungssysteme für eine wirksamere Anwendung in der medizinischen Ausbildung.
Diese Übersichtsarbeit beschreibt die jüngsten Fortschritte beim Einsatz von Lehrveranstaltungsevaluation (SET) in der allgemeinen Hochschulbildung sowie deren Grenzen und skizziert anschließend die verschiedenen Anforderungen an SET für medizinische Ausbildungskurse und Lehrende. Die Arbeit bietet einen Überblick darüber, wie SET auf instrumenteller, administrativer und interpretativer Ebene verbessert werden kann, und konzentriert sich auf die Entwicklung effektiver SET-Modelle und umfassender Bewertungssysteme. Diese sollen die Effektivität der Lehre messen, die Entwicklung professioneller Gesundheitspädagogen fördern und die Qualität der Lehre in der medizinischen Ausbildung verbessern.
Diese Studie orientiert sich an den Arbeiten von Green et al. (2006) [23] und Baumeister (2013) [24] zum Verfassen narrativer Reviews. Wir haben uns für diese Form entschieden, da sie eine umfassende Betrachtung des Themas ermöglicht. Da narrative Reviews methodisch unterschiedliche Studien einbeziehen, tragen sie zudem zur Beantwortung übergreifender Fragestellungen bei. Darüber hinaus kann ein narrativer Kommentar die Auseinandersetzung mit einem Thema anregen und Diskussionen fördern.
Wie wird SET in der medizinischen Ausbildung eingesetzt und welche Herausforderungen ergeben sich im Vergleich zu SET in der allgemeinen Hochschulbildung?
Die Datenbanken PubMed und ERIC wurden mit einer Kombination der Suchbegriffe „Student Teaching Evaluation“, „Teaching Effectiveness“, „Medical Education“, „Higher Education“, „Curriculum and Faculty Evaluation“ und für Peer Review 2000 mit logischen Operatoren durchsucht. Eingeschlossen wurden Artikel, die zwischen 2021 und 2022 veröffentlicht wurden. Einschlusskriterien: Eingeschlossen wurden Originalstudien und Übersichtsarbeiten, die für die drei zentralen Forschungsfragen relevant waren. Ausschlusskriterien: Nicht-englischsprachige Studien, Studien, deren Volltexte nicht verfügbar waren oder die nicht zu den drei zentralen Forschungsfragen passten, wurden ausgeschlossen. Die ausgewählten Publikationen wurden in folgende Themen und zugehörige Unterthemen unterteilt: (a) Einsatz von studentischer Lehrveranstaltungsevaluation (SET) in der allgemeinen Hochschulbildung und deren Grenzen, (b) Einsatz von SET in der medizinischen Ausbildung und deren Relevanz für den Vergleich von SET, (c) Verbesserung von SET auf instrumenteller, managementbezogener und interpretativer Ebene zur Entwicklung effektiver SET-Modelle.
Abbildung 1 zeigt ein Flussdiagramm der ausgewählten Artikel, die im aktuellen Teil der Übersicht behandelt und diskutiert werden.
SET wird traditionell im Hochschulbereich eingesetzt und das Thema wurde in der Literatur ausführlich untersucht [10, 21]. Zahlreiche Studien haben jedoch die vielen Einschränkungen und die Bemühungen zu deren Behebung untersucht.
Forschungsergebnisse zeigen, dass zahlreiche Variablen die SET-Ergebnisse beeinflussen [10, 21, 25, 26]. Daher ist es wichtig, dass Schulleitungen und Lehrkräfte diese Variablen bei der Interpretation und Nutzung der Daten berücksichtigen. Der nächste Abschnitt bietet einen kurzen Überblick über diese Variablen. Abbildung 2 zeigt einige der Faktoren, die die SET-Ergebnisse beeinflussen und in den folgenden Abschnitten detailliert beschrieben werden.
In den letzten Jahren hat die Nutzung von Online-Tests im Vergleich zu Papier-Tests zugenommen. Studien belegen jedoch, dass Online-Tests auch ohne die notwendige Aufmerksamkeit der Studierenden absolviert werden können. In einer interessanten Studie von Uitdehaage und O'Neill [5] wurden dem Test fiktive Dozenten hinzugefügt, woraufhin zahlreiche Studierende Feedback gaben [5]. Darüber hinaus zeigen Studien, dass Studierende häufig der Ansicht sind, die Teilnahme an einem Test führe nicht zu besseren Studienleistungen. Dies kann, insbesondere in Verbindung mit dem vollen Terminkalender von Medizinstudierenden, zu niedrigeren Rücklaufquoten führen [27]. Obwohl Untersuchungen zeigen, dass sich die Meinungen der Testteilnehmer nicht von denen der Gesamtgruppe unterscheiden, können niedrige Rücklaufquoten dennoch dazu führen, dass Dozenten die Ergebnisse weniger ernst nehmen [28].
Die meisten Online-Studentenbefragungen (SETs) werden anonym durchgeführt. Dadurch sollen Studierende ihre Meinung frei äußern können, ohne befürchten zu müssen, dass dies Auswirkungen auf ihre zukünftigen Beziehungen zu den Lehrenden hat. In der Studie von Alfonso et al. [29] wurde die Lehrwirksamkeit von Dozenten an medizinischen Fakultäten von Assistenzärzten und Medizinstudierenden anhand anonymer und öffentlicher Bewertungen beurteilt. Die Ergebnisse zeigten, dass die Lehrenden in den anonymen Befragungen im Allgemeinen schlechter abschnitten. Die Autoren argumentieren, dass Studierende in anonymen Befragungen ehrlicher sind, da in offenen Befragungen bestimmte Hürden bestehen, wie beispielsweise ein angespanntes Arbeitsverhältnis zu den teilnehmenden Lehrenden [29]. Es ist jedoch auch zu beachten, dass die Anonymität von Online-SETs dazu führen kann, dass Studierende respektlos und rachsüchtig gegenüber den Lehrenden reagieren, wenn die Befragungsergebnisse nicht ihren Erwartungen entsprechen [30]. Studien zeigen jedoch, dass Studierende selten respektloses Feedback geben und dass dies durch die Vermittlung von konstruktivem Feedback weiter reduziert werden kann [30].
Mehrere Studien belegen einen Zusammenhang zwischen den SET-Bewertungen von Studierenden, ihren Erwartungen an die Prüfungsleistung und ihrer Zufriedenheit mit der Prüfung [10, 21]. So berichtete Strobe (2020) [9], dass Studierende einfache Kurse und Lehrende schlechte Noten belohnen, was schlechte Lehre fördern und zu Noteninflation führen kann [9]. In einer aktuellen Studie stellten Looi et al. (2020) [31] fest, dass positivere SET-Bewertungen mit der Leistung in nachfolgenden Kursen zusammenhängen und leichter zu erfassen sind. Darüber hinaus gibt es beunruhigende Hinweise darauf, dass die SET-Bewertung umgekehrt proportional zur Studienleistung in nachfolgenden Kursen ist: Je höher die Bewertung, desto schlechter die Studienleistung in den Folgekursen. Cornell et al. (2016) [32] untersuchten, ob Studierende relativ mehr von Lehrenden lernen, deren SET-Bewertung sie hoch bewerten. Die Ergebnisse zeigen, dass Lehrende mit den höchsten Bewertungen am Ende eines Kurses am meisten zum Lernerfolg der Studierenden beitragen. Wird der Lernerfolg jedoch anhand der Leistung in nachfolgenden relevanten Kursen gemessen, sind Lehrende mit relativ niedrigen Bewertungen am effektivsten. Die Forscher vermuteten, dass eine produktive Erhöhung des Schwierigkeitsgrades eines Kurses zwar die Bewertungen senken, aber den Lernerfolg verbessern könnte. Daher sollten studentische Bewertungen zwar nicht die alleinige Grundlage für die Bewertung der Lehre sein, aber dennoch Beachtung finden.
Mehrere Studien belegen, dass die Leistung im SET-Test vom jeweiligen Kurs und dessen Organisation beeinflusst wird. Ming und Baozhi [33] stellten in ihrer Studie signifikante Unterschiede in den SET-Ergebnissen zwischen Studierenden verschiedener Fächer fest. So erzielten beispielsweise Studierende der klinischen Wissenschaften höhere SET-Ergebnisse als Studierende der Grundlagenwissenschaften. Die Autoren erklärten dies damit, dass Medizinstudierende ein Interesse am Arztberuf haben und daher ein persönliches Interesse und eine höhere Motivation besitzen, sich stärker an Kursen der klinischen Wissenschaften zu beteiligen als an solchen der Grundlagenwissenschaften [33]. Wie bei Wahlfächern wirkt sich auch die Motivation der Studierenden für das jeweilige Fach positiv auf die Ergebnisse aus [21]. Weitere Studien bestätigen ebenfalls, dass die Art des Kurses die SET-Ergebnisse beeinflussen kann [10, 21].
Darüber hinaus haben andere Studien gezeigt, dass kleinere Klassengrößen mit einem höheren Niveau der Schülerkompetenzbewertung (SET) einhergehen [10, 33]. Eine mögliche Erklärung hierfür ist, dass kleinere Klassen die Interaktion zwischen Lehrenden und Lernenden fördern. Auch die Rahmenbedingungen der Leistungsbeurteilung können die Ergebnisse beeinflussen. So scheinen beispielsweise die SET-Ergebnisse vom Zeitpunkt des Unterrichts sowie vom Wochentag der Durchführung der Leistungsbeurteilung abzuhängen (z. B. führen Beurteilungen am Wochenende tendenziell zu besseren Ergebnissen) als Beurteilungen, die zu Beginn der Woche durchgeführt werden [10].
Eine interessante Studie von Hessler et al. stellt ebenfalls die Wirksamkeit von SET infrage [34]. In dieser Studie wurde eine randomisierte, kontrollierte Studie in einem Notfallmedizin-Kurs durchgeführt. Medizinstudierende im dritten Studienjahr wurden per Zufall entweder einer Kontrollgruppe oder einer Gruppe zugeteilt, die kostenlose Schokoladenkekse erhielt (Keksgruppe). Beide Gruppen wurden von denselben Dozenten unterrichtet, und die Lehrinhalte und Kursmaterialien waren für beide Gruppen identisch. Nach dem Kurs bearbeiteten alle Studierenden einen Fragebogen. Die Ergebnisse zeigten, dass die Keksgruppe die Dozenten signifikant besser bewertete als die Kontrollgruppe, was die Wirksamkeit von SET infrage stellt [34].
Auch die Literatur belegt, dass das Geschlecht Einfluss auf die Ergebnisse von Lehrerbewertungstests haben kann [35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46]. So zeigen beispielsweise einige Studien einen Zusammenhang zwischen dem Geschlecht der Studierenden und ihren Bewertungsergebnissen: Studentinnen erzielten höhere Punktzahlen als Studenten [27]. Die meisten Studien bestätigen, dass Studierende Lehrerinnen niedriger bewerten als Lehrer [37, 38, 39, 40]. Boring et al. [38] wiesen beispielsweise nach, dass sowohl männliche als auch weibliche Studierende Männer für kompetenter und führungsstärker als Frauen hielten. Dass Geschlecht und Stereotypen die Lehrerbewertung beeinflussen, wird auch durch die Studie von MacNell et al. [41] gestützt. Sie berichteten, dass die Studierenden in ihrer Studie Lehrerinnen in verschiedenen Aspekten der Lehre niedriger bewerteten als Lehrer [41]. Darüber hinaus lieferten Morgan et al. [42] Beweise dafür, dass Ärztinnen in vier wichtigen klinischen Rotationen (Chirurgie, Pädiatrie, Geburtshilfe und Gynäkologie sowie Innere Medizin) niedrigere Lehrbewertungen erhielten als ihre männlichen Kollegen.
In der Studie von Murray et al. (2020) [43] stellten die Forschenden fest, dass die Attraktivität der Lehrenden und das studentische Interesse am Kurs mit höheren SET-Werten korrelierten. Umgekehrt ging die Schwierigkeit des Kurses mit niedrigeren SET-Werten einher. Zudem vergaben Studierende höhere SET-Werte an junge, weiße, männliche Geisteswissenschaftslehrer und an Professoren mit einer vollen Professur. Es zeigten sich keine Korrelationen zwischen den SET-Lehrveranstaltungsbewertungen und den Ergebnissen der Lehrerbefragung. Auch andere Studien bestätigen den positiven Einfluss der physischen Attraktivität von Lehrenden auf die Bewertungsergebnisse [44].
Clayson et al. (2017) [45] berichteten, dass zwar weitgehend Einigkeit darüber besteht, dass die Studierendenbefragung zuverlässige Ergebnisse liefert und die Klassen- und Lehrermittelwerte konsistent sind, jedoch weiterhin Inkonsistenzen in den individuellen Antworten der Studierenden auftreten. Zusammenfassend deuten die Ergebnisse dieses Bewertungsberichts darauf hin, dass die Studierenden mit dem, was sie bewerten sollten, nicht übereinstimmten. Zuverlässigkeitsmaße, die aus Studierendenbefragungen zur Lehre abgeleitet werden, reichen nicht aus, um eine Grundlage für die Validitätsfeststellung zu bieten. Daher liefert die Studierendenbefragung mitunter eher Informationen über die Studierenden als über die Lehrenden.
Die Ausbildung in Gesundheitsberufen unterscheidet sich von der traditionellen Ausbildung, jedoch greifen Lehrende häufig auf die im allgemeinen Hochschulbereich verfügbaren Ausbildungsinhalte zurück, anstatt auf die in der Literatur beschriebenen, fachspezifischen Ausbildungen für Gesundheitsberufe. Studien der letzten Jahre haben jedoch mehrere Probleme aufgezeigt.
Jones et al. (1994) [46] führten eine Studie durch, um die Frage der Leistungsbeurteilung von Lehrenden an medizinischen Fakultäten aus der Perspektive von Lehrenden und Verwaltungsangestellten zu klären. Insgesamt bezogen sich die am häufigsten genannten Probleme auf die Lehrveranstaltungsevaluation. Am häufigsten wurden allgemeine Beschwerden über die Unzulänglichkeit der aktuellen Leistungsbeurteilungsmethoden geäußert. Die Befragten bemängelten zudem insbesondere die mangelnde Anerkennung von Lehre in akademischen Vergütungssystemen. Weitere genannte Probleme waren uneinheitliche Beurteilungsverfahren und Beförderungskriterien zwischen den Fachbereichen, fehlende regelmäßige Beurteilungen und die fehlende Verknüpfung der Beurteilungsergebnisse mit den Gehältern.
Royal et al. (2018) [11] beschreiben einige Einschränkungen des Einsatzes von SET zur Evaluation von Curricula und Lehrenden in gesundheitsbezogenen Studiengängen im allgemeinen Hochschulbereich. Forschende berichten, dass SET im Hochschulbereich vor verschiedenen Herausforderungen steht, da es nicht direkt auf die Curriculumsgestaltung und die Lehre an medizinischen Fakultäten angewendet werden kann. Häufig gestellte Fragen, darunter Fragen zum Dozierenden und zum Kurs, werden oft in einem Fragebogen zusammengefasst, sodass Studierende häufig Schwierigkeiten haben, zwischen ihnen zu unterscheiden. Zudem werden Kurse in medizinischen Studiengängen oft von mehreren Dozierenden unterrichtet. Dies wirft Fragen hinsichtlich der Validität auf, da die Anzahl der von Royal et al. (2018) [11] erfassten Interaktionen zwischen Studierenden und Lehrenden möglicherweise begrenzt ist. In einer Studie von Hwang et al. (2017) [14] untersuchten Forschende, wie retrospektive Kursbewertungen die Wahrnehmung der Studierenden hinsichtlich der Kurse verschiedener Dozieren umfassend widerspiegeln. Ihre Ergebnisse legen nahe, dass eine individualisierte Kursbewertung notwendig ist, um interdisziplinäre Kurse innerhalb eines integrierten medizinischen Curriculums zu steuern.
Uitdehaage und O'Neill (2015) [5] untersuchten, inwieweit Medizinstudierende in einem fakultätsübergreifenden Kurs bewusst an der Studierendenbewertung (SET) teilnahmen. In beiden vorklinischen Kursen gab es jeweils einen fiktiven Dozenten. Die Studierenden mussten innerhalb von zwei Wochen nach Kursende anonyme Bewertungen für alle Dozenten (einschließlich der fiktiven) abgeben, konnten die Bewertung jedoch ablehnen. Im Folgejahr wurde die Studie wiederholt, diesmal jedoch mit einem Foto des fiktiven Dozenten. 66 % der Studierenden bewerteten den virtuellen Dozenten ohne Ähnlichkeit, während nur 49 % eine Bewertung mit vorhandener Ähnlichkeit abgaben. Diese Ergebnisse legen nahe, dass viele Medizinstudierende die Studierendenbewertung unreflektiert durchführen, selbst wenn Fotos beigefügt sind, ohne sorgfältig zu überlegen, wen sie bewerten, geschweige denn die Leistung des Dozenten. Dies behindert die Verbesserung der Programmqualität und kann sich nachteilig auf den akademischen Fortschritt der Lehrenden auswirken. Die Forschenden schlagen ein Rahmenkonzept vor, das einen radikal anderen Ansatz für die Studierendenbewertung bietet und die Studierenden aktiv einbezieht.
Es gibt zahlreiche weitere Unterschiede zwischen den Lehrplänen medizinischer Studiengänge und anderen allgemeinen Hochschulstudiengängen [11]. Die medizinische Ausbildung ist, wie die Ausbildung in anderen Gesundheitsberufen, eindeutig auf die Entwicklung klar definierter beruflicher Rollen (klinische Praxis) ausgerichtet. Daher sind die Lehrpläne medizinischer und gesundheitsbezogener Studiengänge oft statischer und bieten nur eine begrenzte Auswahl an Kursen und Dozenten. Interessanterweise werden medizinische Lehrveranstaltungen häufig im Kohortenformat angeboten, sodass alle Studierenden jedes Semester denselben Kurs zur gleichen Zeit belegen. Die Einschreibung einer großen Anzahl von Studierenden (in der Regel n = 100 oder mehr) kann daher sowohl das Lehrformat als auch die Beziehung zwischen Lehrenden und Studierenden beeinflussen. Darüber hinaus werden an vielen medizinischen Fakultäten die psychometrischen Eigenschaften der meisten Instrumente bei der ersten Anwendung nicht überprüft, sodass deren Eigenschaften oft unbekannt bleiben [11].
Mehrere Studien der letzten Jahre haben gezeigt, dass sich die Effektivität von SET verbessern lässt, indem wichtige Faktoren auf instrumenteller, administrativer und interpretativer Ebene berücksichtigt werden. Abbildung 3 veranschaulicht einige Schritte zur Entwicklung eines effektiven SET-Modells. Die folgenden Abschnitte bieten eine detailliertere Beschreibung.
Verbesserung von SET auf instrumenteller, managementbezogener und interpretativer Ebene zur Entwicklung effektiver SET-Modelle.
Wie bereits erwähnt, bestätigt die Literatur, dass Geschlechterstereotypen die Beurteilung von Lehrkräften beeinflussen können [35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46]. Peterson et al. (2019) [40] untersuchten in einer Studie, ob das Geschlecht der Studierenden deren Reaktionen auf Maßnahmen zur Reduzierung von Geschlechterstereotypen beeinflusst. In dieser Studie wurde das SET-Verfahren in vier Kursen eingesetzt (zwei mit männlichen und zwei mit weiblichen Lehrkräften). Innerhalb jedes Kurses wurden die Studierenden per Zufall einer von zwei Gruppen zugeteilt: entweder erhielten sie ein Standardbewertungsinstrument oder dasselbe Instrument, jedoch mit einer Sprache, die Geschlechterstereotypen reduzieren sollte. Die Studie ergab, dass Studierende, die die antidiskriminierenden Bewertungsinstrumente nutzten, weiblichen Lehrkräften signifikant höhere SET-Werte gaben als Studierende, die Standardbewertungsinstrumente verwendeten. Darüber hinaus zeigten sich keine Unterschiede in den Bewertungen männlicher Lehrkräfte zwischen den beiden Gruppen. Die Ergebnisse dieser Studie sind signifikant und belegen, wie eine relativ einfache sprachliche Intervention Geschlechterstereotypen in studentischen Lehrveranstaltungsbeurteilungen reduzieren kann. Daher ist es ratsam, alle SETs sorgfältig zu prüfen und eine Sprache zu verwenden, die Geschlechterverzerrungen bei ihrer Entwicklung reduziert [40].
Um aussagekräftige Ergebnisse aus Studierendenbefragungen (SET) zu erhalten, ist es wichtig, den Zweck der Befragung und die Formulierung der Fragen im Vorfeld sorgfältig zu prüfen. Obwohl die meisten SET-Umfragen einen Abschnitt zu organisatorischen Aspekten des Kurses („Kursbewertung“) und einen Abschnitt zur Lehrendenbewertung („Lehrendevaluation“) enthalten, ist der Unterschied in manchen Umfragen nicht immer deutlich erkennbar, oder es kann bei den Studierenden zu Verwirrung darüber kommen, wie die einzelnen Bereiche zu bewerten sind. Daher muss der Fragebogen angemessen gestaltet sein, die beiden Teile verdeutlichen und den Studierenden verdeutlichen, was in den jeweiligen Bereichen bewertet werden soll. Zusätzlich wird eine Pilotstudie empfohlen, um festzustellen, ob die Studierenden die Fragen wie beabsichtigt interpretieren [24]. In einer Studie von Oermann et al. (2018) [26] suchten und analysierten die Forschenden die Literatur zum Einsatz von SET in verschiedenen Disziplinen der Bachelor- und Masterausbildung, um Lehrenden Hinweise zum Einsatz von SET in der Pflegeausbildung und anderen Studiengängen im Gesundheitswesen zu geben. Die Ergebnisse legen nahe, dass SET-Instrumente vor ihrer Verwendung evaluiert werden sollten, einschließlich eines Pilotversuchs mit Studierenden, die die SET-Instrumente möglicherweise nicht so interpretieren können, wie es vom Dozenten beabsichtigt ist.
Mehrere Studien haben untersucht, ob das SET-Governance-Modell Einfluss auf das studentische Engagement hat.
Daumier et al. (2004) [47] verglichen die Bewertungen von Dozentenschulungen durch Studierende im Präsenzunterricht mit Online-Bewertungen, indem sie die Anzahl der Antworten und Bewertungen gegenüberstellten. Studien zeigen, dass Online-Umfragen typischerweise niedrigere Rücklaufquoten aufweisen als Umfragen im Präsenzunterricht. Die Studie ergab jedoch, dass die Online-Bewertungen keine signifikant unterschiedlichen Durchschnittsnoten im Vergleich zu traditionellen Präsenzbewertungen ergaben.
Berichten zufolge mangelte es bei der Durchführung von Online-Studienbefragungen (die aber oft auch in gedruckter Form stattfanden) an einer wechselseitigen Kommunikation zwischen Studierenden und Lehrenden, was zu fehlenden Möglichkeiten zur Klärung führte. Daher ist die Bedeutung der Fragen, Kommentare oder Studierendenbewertungen in den Studienbefragungen möglicherweise nicht immer eindeutig [48]. Einige Hochschulen haben dieses Problem angegangen, indem sie Studierende für eine Stunde zusammenbrachten und ihnen eine feste Zeit für die (anonyme) Online-Durchführung der Studienbefragung einräumten [49]. In ihrer Studie führten Malone et al. (2018) [49] mehrere Treffen durch, um mit den Studierenden den Zweck der Studienbefragung, die Einsichtnahme in die Ergebnisse und deren Verwendung sowie weitere von den Studierenden angesprochene Fragen zu besprechen. Die Durchführung der Studienbefragung ähnelt einer Fokusgruppe: Die Gruppe beantwortet offene Fragen durch informelle Abstimmungen, Diskussionen und Nachfragen. Die Rücklaufquote lag bei über 70–80 % und lieferte Lehrenden, Hochschulverwaltungen und Studienkommissionen umfangreiche Informationen [49].
Wie bereits erwähnt, berichteten Uitdehaage und O'Neill in ihrer Studie [5], dass Studierende nicht existierende Dozenten bewerteten. Dies ist ein häufiges Problem in medizinischen Studiengängen, da ein Kurs von mehreren Dozenten gehalten werden kann, Studierende sich aber möglicherweise nicht daran erinnern, wer zu welchem Kurs beigetragen hat oder welche Aufgaben die einzelnen Dozenten übernommen haben. Einige Institutionen haben dieses Problem gelöst, indem sie ein Foto jedes Dozenten, seinen/ihren Namen sowie das jeweilige Thema und Datum der Präsentation bereitstellen, um das Gedächtnis der Studierenden aufzufrischen und Probleme zu vermeiden, die die Effektivität der Lehrveranstaltungsbewertung beeinträchtigen könnten [49].
Das vielleicht wichtigste Problem im Zusammenhang mit SET ist, dass Lehrkräfte die quantitativen und qualitativen Ergebnisse von SET nicht richtig interpretieren können. Manche Lehrkräfte möchten statistische Vergleiche über die Jahre hinweg anstellen, andere betrachten geringfügige Steigerungen oder Rückgänge der Mittelwerte als bedeutsame Veränderungen, manche glauben jeder Umfrage, und wieder andere sind Umfragen gegenüber grundsätzlich skeptisch [45, 50, 51].
Fehlerhafte Interpretation von Ergebnissen oder unzureichende Verarbeitung von Studierendenfeedback können die Einstellung von Lehrenden zum Unterrichten beeinträchtigen. Die Ergebnisse von Lutovac et al. (2017) [52] zeigen, dass eine unterstützende Lehrerausbildung notwendig und hilfreich ist, um Studierenden Feedback zu geben. Die medizinische Ausbildung benötigt dringend Schulungen zur korrekten Interpretation von SET-Ergebnissen. Daher sollten Dozierende an medizinischen Fakultäten darin geschult werden, wie sie Ergebnisse auswerten und worauf sie sich konzentrieren sollten [50, 51].
Die beschriebenen Ergebnisse legen daher nahe, dass SETs sorgfältig konzipiert, durchgeführt und interpretiert werden sollten, um sicherzustellen, dass die SET-Ergebnisse einen sinnvollen Einfluss auf alle relevanten Interessengruppen haben, einschließlich der Dozenten, der Verwaltungsangestellten der medizinischen Fakultät und der Studenten.
Aufgrund einiger Einschränkungen des SET sollten wir weiterhin bestrebt sein, ein umfassendes Bewertungssystem zu schaffen, um Verzerrungen bei der Beurteilung der Lehrwirksamkeit zu reduzieren und die berufliche Weiterentwicklung von medizinischen Ausbildern zu unterstützen.
Ein umfassenderes Verständnis der Lehrqualität klinischer Dozenten lässt sich durch die Erhebung und Triangulation von Daten aus verschiedenen Quellen gewinnen, darunter Studierende, Kollegen, Programmverantwortliche und Selbsteinschätzungen der Dozenten [53, 54, 55, 56, 57]. In den folgenden Abschnitten werden weitere mögliche Instrumente/Methoden beschrieben, die zusätzlich zu effektiven SET-Verfahren eingesetzt werden können, um ein angemesseneres und vollständigeres Verständnis der Trainingseffektivität zu entwickeln (Abbildung 4).
Methoden, die zur Entwicklung eines umfassenden Modells eines Systems zur Beurteilung der Effektivität der Lehre an einer medizinischen Fakultät verwendet werden können.
Eine Fokusgruppe wird definiert als „eine Gruppendiskussion, die organisiert wird, um eine bestimmte Gruppe von Fragestellungen zu untersuchen“ [58]. In den letzten Jahren haben medizinische Fakultäten Fokusgruppen eingerichtet, um qualitativ hochwertiges Feedback von Studierenden zu erhalten und einige der Schwächen von Online-Lehrveranstaltungen zu beheben. Diese Studien zeigen, dass Fokusgruppen effektiv qualitativ hochwertiges Feedback liefern und die Studentenzufriedenheit steigern [59, 60, 61].
In einer Studie von Brundle et al. [59] implementierten die Forschenden ein studentisches Evaluationsverfahren, das es Kursleitenden und Studierenden ermöglichte, Kurse in Fokusgruppen zu diskutieren. Die Ergebnisse zeigen, dass Fokusgruppendiskussionen Online-Bewertungen ergänzen und die Zufriedenheit der Studierenden mit dem gesamten Bewertungsprozess erhöhen. Studierende schätzen die Möglichkeit, direkt mit den Kursleitenden zu kommunizieren, und sind überzeugt, dass dieser Prozess zur Verbesserung der Lehre beiträgt. Sie hatten zudem das Gefühl, die Sichtweise der Kursleitenden besser nachvollziehen zu können. Neben den Studierenden bewerteten auch die Kursleitenden, dass die Fokusgruppen eine effektivere Kommunikation mit den Studierenden ermöglichten [59]. Der Einsatz von Fokusgruppen kann medizinischen Fakultäten somit ein umfassenderes Verständnis der Qualität der einzelnen Kurse und der Lehrwirksamkeit der jeweiligen Dozierenden vermitteln. Es ist jedoch anzumerken, dass die Fokusgruppen selbst einige Einschränkungen aufweisen, beispielsweise die im Vergleich zum Online-SET-Programm, das allen Studierenden zur Verfügung steht, geringe Teilnehmerzahl. Darüber hinaus kann die Durchführung von Fokusgruppen für verschiedene Kurse für Betreuer und Studierende zeitaufwändig sein. Dies stellt insbesondere für Medizinstudierende mit einem sehr vollen Terminkalender und möglicherweise an verschiedenen Standorten absolvierten klinischen Praktika eine erhebliche Einschränkung dar. Zudem benötigen Fokusgruppen eine große Anzahl erfahrener Moderatoren. Die Einbeziehung von Fokusgruppen in den Evaluierungsprozess kann jedoch detailliertere und spezifischere Informationen über die Effektivität von Schulungen liefern [48, 59, 60, 61].
Schiekierka-Schwacke et al. (2018) [62] untersuchten die Wahrnehmung eines neuen Instruments zur Beurteilung der Lehrleistung und der Lernergebnisse von Studierenden an zwei deutschen medizinischen Fakultäten durch Studierende und Lehrende. Dazu wurden Fokusgruppendiskussionen und Einzelinterviews mit Lehrenden und Medizinstudierenden durchgeführt. Die Lehrenden schätzten das persönliche Feedback des Beurteilungsinstruments, während die Studierenden die Einrichtung eines Feedback-Kreislaufs mit Zielen und Konsequenzen anregten, um die Rückmeldung der Beurteilungsdaten zu fördern. Die Ergebnisse dieser Studie unterstreichen somit die Bedeutung eines geschlossenen Kommunikationskreislaufs mit den Studierenden und der Information über die Beurteilungsergebnisse.
Programme zur kollegialen Lehrbewertung (Peer Review of Teaching, PRT) sind von großer Bedeutung und werden im Hochschulbereich seit vielen Jahren angewendet. PRT beinhaltet einen kollaborativen Prozess, bei dem Lehrveranstaltungen beobachtet und den Beobachtern Feedback gegeben wird, um die Lehrqualität zu verbessern [63]. Darüber hinaus können Selbstreflexionsübungen, strukturierte Nachgespräche und die systematische Zuweisung geschulter Kollegen die Effektivität von PRT und die Lehrkultur des Fachbereichs steigern [64]. Diese Programme bieten zahlreiche Vorteile, da sie Lehrenden ermöglichen, konstruktives Feedback von Kollegen zu erhalten, die möglicherweise ähnliche Schwierigkeiten in der Vergangenheit erlebt haben und durch hilfreiche Verbesserungsvorschläge zusätzliche Unterstützung bieten können [63]. Konstruktiv eingesetzt, kann die kollegiale Bewertung zudem Kursinhalte und -methoden verbessern und medizinische Lehrende bei der Steigerung der Qualität ihrer Lehre unterstützen [65, 66].
Eine aktuelle Studie von Campbell et al. (2019) [67] belegt, dass das Modell der kollegialen Unterstützung am Arbeitsplatz eine akzeptable und effektive Strategie zur Lehrerfortbildung für klinische Gesundheitspädagogen darstellt. In einer weiteren Studie untersuchten Caygill et al. [68] Gesundheitspädagogen der Universität Melbourne mithilfe eines speziell entwickelten Fragebogens, wie sie ihre Erfahrungen mit dem Peer-Review-Verfahren (PRT) teilen. Die Ergebnisse zeigen ein großes Interesse an PRT unter medizinischen Lehrenden und belegen, dass das freiwillige und informative Peer-Review-Format als wichtige und wertvolle Möglichkeit der beruflichen Weiterentwicklung angesehen wird.
Es ist wichtig zu beachten, dass PRT-Programme sorgfältig konzipiert werden müssen, um ein wertendes, „managerielles“ Umfeld zu vermeiden, das häufig zu erhöhter Angst bei den beobachteten Lehrenden führt [69]. Daher sollte das Ziel darin bestehen, sorgfältig ausgearbeitete PRT-Pläne zu entwickeln, die die Schaffung eines sicheren Umfelds unterstützen und konstruktives Feedback ermöglichen. Aus diesem Grund ist eine spezielle Schulung der Gutachter erforderlich, und PRT-Programme sollten nur wirklich interessierte und erfahrene Lehrende einbeziehen. Dies ist besonders wichtig, wenn die aus dem PRT gewonnenen Informationen in Personalentscheidungen wie Beförderungen, Gehaltserhöhungen oder die Übernahme wichtiger administrativer Positionen einfließen. PRT ist zeitaufwändig und erfordert, ähnlich wie Fokusgruppen, die Teilnahme einer großen Anzahl erfahrener Lehrender, was die Umsetzung dieses Ansatzes an ressourcenarmen medizinischen Fakultäten erschwert.
Newman et al. (2019) [70] beschreiben Strategien, die vor, während und nach dem Training eingesetzt werden, Beobachtungen, die bewährte Verfahren hervorheben und Lösungen für Lernprobleme aufzeigen. Die Forschenden gaben den Gutachtern zwölf Empfehlungen, darunter: (1) Die Wortwahl ist sorgfältig; (2) die Richtung des Gesprächs sollte vom Beobachter bestimmt werden; (3) Feedback sollte vertraulich und formatiert sein; (4) Feedback sollte sich auf die Lehrkompetenzen und nicht auf die einzelne Lehrkraft konzentrieren; (5) die Kolleginnen und Kollegen kennenlernen; (6) Rücksicht auf sich selbst und andere nehmen; (7) die Bedeutung von Pronomen im Feedback beachten; (8) Fragen stellen, um die Perspektive der Lehrenden zu beleuchten; (10) Vertrauen und Feedback in kollegialen Beobachtungen etablieren; (11) die Lernbeobachtung zu einem Gewinn für alle Beteiligten machen; (12) einen Aktionsplan erstellen. Forschende untersuchen außerdem den Einfluss von Voreingenommenheit auf Beobachtungen und wie der Prozess des Lernens, Beobachtens und Diskutierens von Feedback wertvolle Lernerfahrungen für beide Seiten bieten und so zu langfristigen Partnerschaften und einer verbesserten Bildungsqualität führen kann. Gomaly et al. (2014) [71] berichteten, dass die Qualität effektiven Feedbacks Folgendes umfassen sollte: (1) Klärung der Aufgabe durch Bereitstellung von Anweisungen, (2) Steigerung der Motivation zur Förderung größerer Anstrengungen und (3) die Wahrnehmung des Empfängers als wertvollen Prozess. Das Feedback sollte von einer seriösen Quelle stammen.
Obwohl die Dozenten der medizinischen Fakultät Feedback zu PRT erhalten, ist es wichtig, die Dozenten darin zu schulen, wie sie dieses Feedback interpretieren können (ähnlich der Empfehlung, eine Schulung zur Interpretation von SET zu absolvieren) und ihnen ausreichend Zeit zu geben, um konstruktiv über das erhaltene Feedback nachzudenken.
Veröffentlichungsdatum: 24. November 2023