Forum 1: Eingangstests für größeren Erfolg in Studium und Beruf – Praxisbeispiele aus dem Lehramtsstudium

Eingangsvoraussetzungen und akademisches Lernen in der Lehramtsausbildung: Längsschnittanalysen aus der EMW-Studie

Prof. Johannes König, Universität zu Köln

Der Vortrag fokussiert auf die Frage, inwieweit Eingangsvoraussetzungen von Lehramtsstudierenden valide für ihren Erfolg im Studium sowie für Einstieg in die Berufspraxis sind. Hierfür werden Längsschnittdaten aus der Studie EMW („Entwicklung von berufsspezifischer Motivation und pädagogischem Wissen in der Lehrerausbildung“) mit 191 (angehenden) Lehrpersonen aus Deutschland und Österreich verwendet, die zu Studienbeginn (2011) sowie fortlaufend alle zwei Jahre (2013, 2015, 2017) mit einem standardisierten Verfahren zu ihrem pädagogischen Wissen getestet wurden. Das pädagogische Wissen wird im Vortrag einerseits als Ergebnis von Ausbildungsprozessen gesehen, andererseits auch als Einflussfaktor für die erfolgreiche Bewährung in der Berufspraxis interpretiert. Während zum vierten Messzeitpunkt im Jahr 2017 sich die angehenden Lehrpersonen in Deutschland in ihrer zweiten Ausbildungsphase (Referendariat bzw. Vorbereitungsdienst) befanden, waren die österreichischen Studienteilnehmer und -teilnehmerinnen aufgrund ihrer kurzen dreijährigen Bachelor-Ausbildung bereits zum dritten Messzeitpunkt im Jahr 2015 als berufstätige Lehrperson tätig. Ergebnisse: Für die (angehenden) Lehrpersonen sowohl in Deutschland als auch in Österreich zeigt sich zunächst ein starker Zuwachs an pädagogischem Wissen über die Dauer ihrer Ausbildung an Universitäten (Deutschland) bzw. Pädagogische Hochschulen (Österreich). Dieses Ergebnis spricht grundsätzlich für die Wirksamkeit einer akademischen Ausbildung, wie sie auch von anderen empirischen Lehrerbildungsstudien in den letzten Jahren berichtet wird. Neu hingegen an der vorliegenden Analyse ist, dass mit dem Übergang in die Berufspraxis (Österreich) bzw. Referendariat (Deutschland) sich dieser durchschnittliche Zuwachs jedoch nicht gleichermaßen fortsetzt. Stattdessen zeigt sich ein differenzieller Effekt in Abhängigkeit der Abiturnote (Deutschland) bzw. der Abschlussnoten der höheren Schule (Österreich): Personen mit besserer Abiturnote bzw. Abschlussnoten gelingt es eher, ihr akademisches Lernen trotz des Wechsels von der theoretischen Ausbildung in die Berufspraxis fortzusetzen. Weitere Eingangsvoraussetzungen zu Studienbeginn (z.B. Berufswahlmotivation) zeigen dagegen keine Effekte, weder für akademisches Lernen während der Ausbildung noch für die erfolgreiche Bewältigung des Übergangs von der Ausbildung in den schulischen Berufskontext. Die Ergebnisse werden unter zwei Perspektiven zur Diskussion gestellt: Die erste Perspektive bezieht sich auf den Erwerb pädagogischen Wissens von angehenden bzw. berufstätigen Lehrpersonen und die Bedeutung des eingesetzten standardisierten Tests für Analysen zu Eingangsvoraussetzungen von Lehramtsstudierenden. Die zweite Perspektive setzt an der Bedeutung der Abiturnote bzw. Abschlussnoten der höheren Schule für Studienerfolg und Erfolg im Berufseinstieg an, auch im Vergleich zu weiteren Eingangsvoraussetzungen wie der Berufswahlmotivation von angehenden Lehrpersonen. Darüber hinaus soll das Design der EMW-Studie genutzt werden, eine vergleichende Perspektive auf Fragen zur Gestaltung von Lehrerbildung und ihrer Systeme einzunehmen.

Warum in Österreich nicht jede/r ein Lehramt studieren darf: Entstehung, Verfahren und Befunde der Zulassung zu Lehramtsstudien

Prof. Barbara Pflanzl & Dr. Regina Weitlaner, Pädagogische Hochschule Steiermark

Lehrer/innen sind ausschlaggebend für erfolgreiche schulische Bildungsprozesse. Vor diesem Hintergrund stellt sich die Frage, ob es tatsächlich möglich ist im Rahmen einer zeitlich begrenzten Ausbildung, jede Person zu einer guten Lehrkraft auszubilden („no teacher education student is left behind“: Krammer & Pflanzl, 2019). Damit kommt der Auswahl von Personen für Lehramtsstudien eine zentrale Rolle zu. In Österreich sollen durch das Teacher Student Assessment Austria (TESAT) mit Maßnahmen der Selbst- und Fremdselektion geeignete Personen für das Lehramtsstudium rekrutiert werden. Der Vortrag stellt ein dreistufiges, theoretisch und empirisch fundiertes Verfahren zur Auswahl von Lehramtsstudierenden vor, das für den Einsatz an österreichischen Universitäten und Pädagogischen Hochschulen konzipiert wurde und seit 2014 verwendet wird. Das dreistufige Verfahren besteht erstens aus einem Self-Assessment zur Selbsterkundung von motivationalen und persönlichkeitsstrukturellen Voraussetzungen und umfangreichen Informationen zum Lehrerberuf, zur Selbstsektion. Zweitens werden durch standardisierte psychologische Tests kognitive Fähigkeiten, sprachliche, emotionale und kreativitätsbezogene Kompetenzen sowie ausgewählte Persönlichkeitsmerkmale erfasst. Schließlich werden in einem Face-to-Face- Assessment Fähigkeiten und Merkmale erfasst, die nur schwer in ein standardisiertes Testverfahren integriert werden können (z.B. verbale und nonverbale Kommunikationsfähigkeit). Erste Analysen zeigten eine gute prognostische Validität für den Studienerfolg (Neubauer et al., 2017). Im Längsschnitt wird die Validität des Verfahrens zur Prognose von Studienerfolg, Studienabbruch und Berufserfolg seit 2015 österreichweit beforscht; derzeit mit drei Messzeitpunkten über vier Jahre und künftig mit Kriterien des Berufserfolgs. Der vorliegende Beitrag geht einerseits auf die Entstehung des Verfahrens und dessen rechtliche Grundlagen ein, und andererseits auf die zugrundeliegenden Konzepte und Befunde der Lehrerbildungsforschung und der psychologischen Eignungsdiagnostik. Während der letzten fünf Jahre Entwicklung, Durchführung und Begleitforschung des Verfahrens, konnten neue Erkenntnisse und Perspektiven gewonnenen werden, die in diesem Beitrag allgemein für Zulassungsverfahren und spezifisch für Zulassung zu Lehramtsstudien präsentiert und diskutiert werden. Neubauer, A. C., et al. (2017). TESAT - Ein neues Verfahren zur Eignungsfeststellung und Bewerberauswahl für das Lehramtsstudium: Kontext, Konzept und erste Befunde. Zeitschrift für Bildungsforschung, 7, 5-21. https://doi.org/10.1007/s35834-017-0178-3 Krammer, G. & Pflanzl, B. (2019). Können wir jede Person lehren Lehrer*in zu werden? Sollen wir es? Journal für LehrerInnenbildung, 19 (2), 28-39. https://doi.org/10.35468/jlb-02-2019_02

Link zur Präsentation (PDF, 560KB, Datei ist nicht barrierefrei)

Forum 2: Eingangstests im Hochschulbereich: Worauf kommt es bei Administration und Qualitätssicherung an? (Workshop)

Prof. Günter Trost, ITB Consulting, Bonn
Prof. Birgit Spinath, Universität Heidelberg
Dr. Stephan Stegt, ITB Consulting, Bonn
Dr. Alexander Zimmerhofer, ITB Consulting, Bonn

Vier Aspekte wurden in den Arbeitsgruppen diskutiert:

1. Was ist bei der Organisation von Testentwicklung, -durchführung und -auswertung zu beachten? Die Bedeutung einer klaren Zuordnung der Verantwortlichkeiten vom Beginn der Testentwicklung an wurde betont. Im Falle von Auswahltests wurde empfohlen: Pro Studienfeld sollten ein oder maximal zwei Tests von zentralen Institutionen bereitgestellt und damit ein aufwändiger „Test-Tourismus“ zu Lasten der Teilnehmenden vermieden werden. Die Hochschulen entscheiden, in welcher Weise sie die Testergebnisse bei der Studierendenauswahl verwenden. Die testentwickelnden Institutionen sorgen für die dezentrale Durchführung der Tests unter einheitlichen Bedingungen sowie für Auswertung und Rückmeldung der Ergebnisse an die Teilnehmenden. Erörtert wurden ferner Fragen der Transparenz der Verfahren sowie der Zuständigkeiten bei Klagen abgewiesener Personen.
2. Wie kann die Qualität solcher Tests sichergestellt und wissenschaftlich überprüft werden? Das Thema wurde anhand von vier Leitfragen diskutiert: 1) Welches sind Kriterien für die Qualität von Auswahlverfahren? 2) Wie wäre die Qualitätssicherung idealerweise zu realisieren? 3) Welche Herausforderungen bestehen bei der Qualitätssicherung? 4) Welche Lösungsansätze und innovative Herangehensweisen gibt es? Es wurde herausgearbeitet, dass für eine wissenschaftliche Qualitätssicherung der Verfahren längsschnittliche Datenerhebungen über das Studium hinaus erforderlich sind. Dazu bedarf es neben eignungsdiagnostischer Expertise der Unterstützung durch Fachleute für Datenschutz- und Datenmanagement, die standortübergreifend zusammenarbeiten. Auch juristische und administrative Expertise sollte über die Standorte hinweg zusammengeführt werden.
3. Welche Modelle der Verwendung solcher Tests sind möglich? Welche haben sich bewährt, sind aus wissenschaftlicher Sicht empfehlenswert und rechtlich zulässig? Je nach Ziel des Auswahlverfahrens (z. B. Vorhersage des Studien- oder Berufserfolgs) müssen – so der Konsens in der Gruppe – zuerst die spezifischen Anforderungen des betreffenden Studiums bzw. Berufs ermittelt werden. Im zweiten Schritt werden die geeigneten Auswahlkriterien bestimmt bzw. die passenden Auswahlinstrumente entwickelt. Die Abiturnote ist für homogene, inländische Zielgruppen ein guter Prädiktor des Studienerfolgs. Studierfähigkeitstests sind breiter einsetzbar. Bei der Entscheidung über die Ausgestaltung sind die rechtlichen Rahmenbedingungen – definiert durch den neuen Staatsvertrag und die einzelnen Landesgesetze – sowie Kosten-Nutzen-Erwägungen zu berücksichtigen.
4. Wie kann der Nutzen solcher Tests für die Teilnehmenden maximiert, deren Perspektive allgemein stärker berücksichtigt werden? Zwei zentrale Aspekte aus der Teilnehmerperspektive wurden behandelt: (a) Wie kann der Nutzen für Teilnehmende an den Tests durch den Gewinn von Informationen erhöht werden? Sie sollen u.a. ausführliche Rückmeldungen über ihre Testergebnisse samt Interpretationshilfen und Maßnahmenvorschlägen erhalten. (b) Wie kann die Akzeptanz von Auswahltests erhöht werden? Hier wurde die Wichtigkeit betont, den Aufwand für Teilnehmende zu minimieren, z. B. für Anreise und Testvorbereitung, die Test-Konzepte sowie die Prozesse der Testentwicklung und -auswertung transparent zu machen und den Nutzen des Verfahrens für die Teilnehmenden aufzuzeigen: bessere „Passung“ von individuellen Voraussetzungen und den Anforderungen der betreffenden Studiengänge.

Forum 3: Lernzuwachs messen – aber wie? Einblick in die internationale Diskussion und die Rolle von Eingangstests (in englischer Sprache)

The incremental value of non-cognitive variables in predicting academic achievement

Prof. Vincent Donche, University Antwerpen

The Flemish higher education system is quite unique in Europe regarding the almost open access policy for entrance, combined with fairly low tuition fees. Unfortunately, this goes a long with high drop-out rates, decline of study efficiency and important delays regarding the time of graduation (first bachelor certificate) in many bachelor programmes. Research on the determinants of study success has emphasized the explanatory value of cognitive variables in great sense, but also non-cognitive variables, such as academic self-beliefs, academic motivation, self-regulation and cognitive learning strategies are important when explaining study success as several substantial meta-analyses and reviews have been indicating (see also Van Rooij et al., 2018). Surprisingly, when administering tests at the start of higher education, these non-cognitive variables are often neglected, or receive few attention in contrast with the measurement of cognitive variables such as the knowledge of mathematics, academic reading/writing or subject specific entry tests. However, providing a more balanced picture regarding students’ prior knowledge and learning potential is needed to avoid a cognitive selection effect in the transition from secondary to higher education. Another observation is that many students also lack a thorough study choice process before entering higher education, feedback on their starting position regarding higher education is therefore also important. In order to increase a more information-driven study choice in the last year of secondary education, the Columbus project was started up (https://columbus.onderwijskiezer.be), a large scale collaboration between universities and university colleges (KU Leuven, University of Ghent, University of Antwerp, Arteveldehogeschool) in Flanders. An online exploration instrument was developed for Flemish Education, providing feedback on a selective set of cognitive and non-cognitive variables, for students aiming to start in higher education. This feedback provision is expected to be an important aid for students making their study choice for higher education, and may also have a beneficial impact on academic success. In the last academic year, more than 25.000 students filled in the instrument and were provided with feedback. Follow-up research and analyses in the future are directed to further investigate the relationship with academic success.

*More information regarding ongoing research on transition to higher education can be found on following websites: Website Columbus: https://columbus.onderwijskiezer.be; University of Antwerp: https://www.uantwerpen.be/en/staff/vincent-donche/; Research Gate -> project ‘Transition to Higher education’: https://www.researchgate.net/profile/Vincent_Donche References Van Rooij, E., Brouwer, J., Fokkens-Bruinsma, M., Jansen, E., Donche, V., & Noyens, D. (2018). A systematic review of factors related to first-year students’ success in Dutch and Flemish higher education. Pedagogische Studiën, 94(5), 360-405.