Forum 5: Quo vadis Auswahlverfahren? – Praxisbeispiele aus der Medizin

Im Rahmen dieses Forums wurden an vier verschiedenen Stationen die aktuellen Testverfahren, die im Rahmen der Zulassung von Studierenden der Humanmedizin und Zahnmedizin genutzt werden, vorgestellt. Es wurden Chancen und Grenzen der Verfahren, Vor- und Nachteile und die Evidenzbasis diskutiert. Testitems standen außerdem zur Bearbeitung bereit. Darüber hinaus wurde die Auswirkung verschiedener Gewichtungen von Auswahlkriterien diskutiert und ein Instrument vorgestellt, mit dem diese Auswirkungen grafisch abgebildet werden können.

Fachspezifische Studierfähigkeitstests HamNat und TMS

Dr. Nicolas Becker, Universität des Saarlandes
Prof. Hampe, Universitätsklinikum Hamburg-Eppendorf
Tim Wittenberg, Universität Heidelberg
Dr. Alexander Zimmerhofer, ITB Consulting, Bonn

An dieser Station bestand die Möglichkeit, sich zu den beiden in Deutschland genutzten fachspezifischen Studierfähigkeitstests in der Medizin und Zahnmedizin zu informieren. Zum Test für Medizinischen Studiengänge wurde eine kurze Präsentation einen Einblick in den TMS und eine Reihe von Testitems gegeben. Zum HAM-Nat wurden Testitems elektronisch als online-Test zur Verfügung gestellt. Des Weiteren wurde Literatur zu Validierungsstudien für beide Testverfahren zur Verfügung gestellt.

Mulitple Mini-Interviews

Simon Breil, Universität Münster

Beispielvideos von Rollenspielen in verschiedenen Interviewstationen wurden zur Verfügung gestellt, und Interessierte konnten in die Rolle des Raters schlüpfen und die Bewerberinnen und Bewerber auf den Videos bewerten. Außerdem lagen weitere Informationen zum Konzept und zu Forschungsergebnissen  bezüglich der Prädiktion des Studienerfolgs bereit.

Situational Judgment Tests

Dorothee Amelung, Universität Heidelberg
Lia Espe, Universitätsmedizin Göttingen
Mirjana Knorr, Universitätsklinikum Hamburg-Eppendorf

Diese Station gab einen Überblick über die Art der Items eines Situational Judgement Tests (SJT), die an medizinischen Fakultäten in Deutschland im Einsatz sind.

In Hamburg werden aktuell zwei verschiedene Papierversionen getestet, die zukünftig in der Studierendenauswahl zum Einsatz kommen sollen. Die klassische SJT-Version zeigte in ersten Vorstudien seit 2016 eine zufriedenstellende interne Konsistenz (.62 < α < .82) und erste Zusammenhänge zum klinisch-praktischen Prüfungserfolg (r = .20). Jedoch bleibt die Konstruktvalidität unklar. Demgegenüber zeigte ein 2019 neu entwickelter Konstrukt-basierter SJT hypothesenkonforme aber schwache Zusammenhänge zu den Big Five Persönlichkeitsfaktoren (.15 < r. < .32). Eine unklare Faktorenstruktur und niedrige interne Konsistenzen erfordern eine inhaltliche Verbesserung dieser SJT-Variante. Der klassische und Konstrukt-basierte SJT müssen zudem am Zusammenhang zum klinisch-praktischen Studienerfolg verglichen werden.

Zum anderen wurde ein videobasierter SJT aus Heidelberg elektronisch präsentiert, der zur Studienorientierung von Bewerberinnen und Bewerbern eingesetzt wird. Dieser misst ein aktives positives Zugehen auf andere Menschen (mittlere Korrelationen mit Skalen zur sozialen Orientierung, Offensivität und Extraversion (r = .29 - .40, p =.05) und ist relativ unabhängig von der allgemeinen kognitiven Leistungsfähigkeit (gemessen anhand Abiturnote, Abschneiden in einem Intelligenztest bzw. dem TMS- oder HAM-Nat-Ergebnis). Er zeigt außerdem einige Zusammenhänge zu Konstrukt-nahen Verfahren wie z.B. den in Hamburg in der Auswahl eingesetzten Multiplen Mini-Interviews (MMI; r=.30, p <.001) zur Messung sozialer Kompetenzen sowie z.T. zu klinisch-praktischen Prüfungsleistungen des 2. Ärztlichen Abschnitts (z.B. Encounter Cards). Keine Zusammenhänge bestehen jedoch zu vorklinischen Studienleistungen. Zudem wird der Heidelberger SJT von Studienbewerbern als nützlich erlebt: Über die Hälfte der Befragten geben regelmäßig an, dass der SJT zur Selbstreflexion anrege bzw. die sozialen Anforderungen des ärztlichen Berufs bewusster mache.

Sowohl die computergestützte als auch die Paper-Pencil-Versionen der Tests konnten vor Ort probeweise bearbeitet werden.

Instrument zur grafischen Darstellung der Auswirkungen unterschiedlicher Gewichtungen von Auswahlkriterien auf die Auswahlentscheidung

Simon Zegota, Universitätsmedizin Göttingen

Diese Station stellte ein Instrument vor, das einen ansprechenden Vergleich von alternativen Auswahlverfahren und deren Auswirkungen auf die angenommenen Medizinstudierenden präsentiert. Zur Visualisierung werden Bewerberdaten (N = 2295) aus dem Wintersemester 2013/2014 bis Sommersemester 2019 des Göttinger Auswahlverfahrens verwendet. Das Tool wurde elektronisch vorgestellt und konnte interaktiv genutzt werden, sodass Anpassungen an dem Auswahlverfahren direkt getestet werden konnten.

 

Forum 6: Chancengerechtigkeit im Bildungsverlauf – Konsequenzen von Auswahlverfahren und Eingangstests

Welche Rolle spielen Auswahlverfahren für soziale Herkunfts- und Geschlechterunterschiede beim Zugang zum Medizinstudium?

Dr. Claudia Finger, Wissenschaftszentrum Berlin für Sozialforschung

Medizin ist weithin bekannt als das Studienfach mit den geringsten Zulassungschancen: Seit Jahren erhält nur eine*r von fünf Bewerber*innen die Möglichkeit, Medizin an einer staatlichen deutschen Hochschule zu studieren. Die Zulassung zum Medizinstudium wurde bereits mehrfach vor dem Bundesverfassungsgericht verhandelt und zuletzt im Dezember 2017 durch dieses zum Teil in Frage gestellt. Dies veranlasste die Kultusministerkonferenz zum Beschluss von Verfahrensänderungen, die ab dem Sommersemester 2020 in Kraft treten sollen. Die vorgesehenen Änderungen machen eine wachsende Relevanz von Studieneignungstests wahrscheinlich. Eine wichtige Frage, die sich dabei stellt, ist, ob bestimmte soziale Gruppen hierdurch potentiell benachteiligt sind und somit geringere Chancen auf ein Studium haben, das mit hohen Erträgen (etwa auf dem Arbeitsmarkt) verbunden ist. Mit Fokus auf Geschlechterunterschiede diskutiert und analysiert der Vortrag daher mögliche direkte und indirekte Auswirkungen von Tests als Auswahlinstrument. Frauen sind heute unter den Studierenden der Medizin überrepräsentiert – eine Tatsache, die unter dem Stichwort „Feminisierung der Medizin“ auch kritisch diskutiert wird. Laut Statistischem Bundesamt stieg der Frauenanteil von circa 30 Prozent Anfang der 1970er Jahre auf über 60 Prozent 2018. Hieraus kann jedoch nicht abgelesen werden, ob bestimmte Verfahren zu einem höheren Anteil an Männern oder Frauen führen. Auswahlverfahren können auf direkte Weise wirken, indem sie Zulassungschancen von Bewerber*innen beeinflussen. Im Fall von Tests sollte dies insbesondere über ungleich verteilte Testergebnisse erklärt werden können. Internationale Studien zeigen hierzu, dass Männer unter kompetitiven Testbedingungen und in naturwissenschaftlichen Tests besser abschneiden. Tests können aber auch indirekt wirken, indem sie als abschreckend oder anziehend wahrgenommen werden und somit Bewerbungsentscheidungen beeinflussen. Ersteres könnte häufiger auf Frauen zutreffen, die zum Beispiel kompetitive Situationen eher scheuen, wie Studien zeigen. Mithilfe der von der Stiftung für Hochschulzulassung zur Verfügung gestellten Bewerber*innendaten der Jahre 2012 bis 2018 ist es erstmals möglich für den gesamtdeutschen Kontext zu untersuchen, ob Tests tatsächlich zu Geschlechterunterschieden in den Bewerbungs- und Zulassungschancen zum Medizinstudium führen. In diesem Zeitraum stieg der Anteil an medizinischen Fakultäten, die Auswahltests nutzen, von etwa 45 auf etwa 75 Prozent. Erste Auswertungen zeigen, dass Tests den Männeranteil unter Bewerber*innen für entsprechende Hochschulen um etwa einen Prozentpunkt leicht erhöhen. Dieser Anteil steigt auf fast drei Prozentpunkte (bei einem Durchschnittswert von circa 35 Prozent), wenn Bewerber*innen mit mittlerer Schulleistung betrachtet werden. Die Analyse von Geschlechterunterschieden in den Zulassungschancen ist ein nächster, wichtiger Schritt zur umfassenderen Beurteilung der Auswirkung von Tests. Zudem diskutiert der Vortrag als zweite wichtige Ungleichheitsdimension die soziale Herkunft, die stark mit dem Zugang zum Medizinstudium zusammenhängt, und den potentiellen direkten und indirekten Einfluss, den Tests hierbei spielen können.

Link zur Präsentation (PDF, 1MB, Datei ist nicht barrierefrei)

Was, wenn wir die "Falschen" fördern? Selbst- und Fremdselektion bei studienvorbereitenden Bildungsinterventionen.

Melinda Erdmann, Wissenschaftszentrum Berlin für Sozialforschung & Prof. Marcel Helbig, Universität Leipzig

In diesem Beitrag wird der Frage nachgegangen, inwieweit es individuellen Förderprogrammen für sozial benachteiligte Kinder und Jugendliche im Bildungsbereich gelingt, ihren Zielgruppen den entsprechenden Zugang zu gewährleisten. Vor allem wenn die Teilnahme von der Bereitschaft der Schüler/innen oder Auswahl durch Lehrende abhängig ist, kann nicht per se garantiert werden, dass die Programme die adressierten Gruppen erreichen. Dies wird umso kritischer, wenn die Förderprogramme eine Reduzierung von sozialer Ungleichheit bei der Bildungsbeteiligung anstreben und die Teilnahme durch die soziale Herkunft moderiert wird. In der Konsequenz stellt sich die Frage, welche Auswirkung die Teilnahme von Schüler/innen hat, wenn diese nicht zur adressierten Gruppe gehören. Zeigen diese Programme dann noch einen Effekt? Oder kommt es sogar zu einer nicht intendierten Verstärkung der sozialen Ungleichheit?

Im ersten Teil des Beitrags gehen wir darauf ein, dass es zu  Fremdselektion durch Lehrkräfte kommt, die nicht unbedingt im Sinne der Programmziele entscheiden. Mittels eines explorativen Auswertungsverfahrens haben wir analysiert, inwiefern sich die sozio-strukturellen und schulischen Merkmale der ausgewählten Schüler/innen von denen der nicht ausgewählten Schüler/innen unterscheiden. Die Ergebnisse zeigen, dass an Gymnasien primär die schulische Leistungen und an Gesamtschulen die schulische Motivation für die Auswahl durch die Lehrerenden relevant sind. Kulturelles und ökonomisches Kapital der Eltern stellen ebenfalls wesentliche Differenzierungsmerkmale dar. Obwohl Schüler/innen ohne akademischen Bildungshintergrund als Fokusgruppe des Programms definiert wurden, unterscheiden sich die ausgewählten Schüler/innen gerade in dieser Eigenschaft nicht von den nicht ausgewählten Schüler/innen. Wir weisen in diesem Zusammenhang weiter darauf hin, dass gerade die oft formulierten „Leistungskriterien“ für die Auswahl (talentierte und motivierte Schüler/innen) zu einer falschen Zuweisung zum Programm führen.

Aber was bedeutet dieses Ergebnis für die Veränderung der sozialen Ungleichheit beim Übergang zum Studium?

Diese Frage wird im zweiten Teil des Beitrags anhand einer Simulationsstudie beantwortet. Aus einer methodologischen Perspektive wird das Zusammenspiel von herkunftsspezifischen Effekten und herkunftsspezifischen Teilnahmequoten an Förderprogrammen diskutiert. Solange ein Förderprogramm ausschließlich einen Effekt für sozial benachteiligte Schüler/innen aufweist, ist die Teilnahme von Schüler/innen anderer sozialer Gruppen im Hinblick auf die Erreichung des Projektziels, die Ungleichheit zu reduzieren, unbedeutend. Für den Fall, dass aber alle Gruppen vom Förderprogramm profitieren, kommt es nicht in allen diskutierten Szenarien zu einer Verringerung von Ungleichheit. Anhand verschiedener Szenarien wird deutlich, dass je nach Effektstärke und Teilnahmequoten der unterschiedlichen sozialen Gruppen die Wirkung der Programme sehr unterschiedlich ausfällt und sogar ungleichheitsverstärkend wirken kann.

Ziel des Beitrags ist es, darauf hinzuweisen, dass die Auswahl der „richtigen“ Schüler/innen einen entscheidenden Aspekt darstellt, ob Förderprogramme erfolgreich sind oder nicht. Hierin sehen wir auch in der Wirkungsforschung zu Förderprogrammen einen kaum diskutierten Aspekt.

 

Forum 7: Studieneingangstests bei Bachelorstudiengängen in der Praxis: Prozesse und Erfolge von staatlichen und privaten Hochschulen

Studieneingangstests an privaten Hochschulen (Das Auswahlverfahren der Bucerius Law School)

Benedikt Landgrebe, Bucerius Law School, Hamburg

Die im Jahr 2000 gegründete Bucerius Law School nimmt jährlich 116 neue Studierende in den Jurastudiengang auf, der nach dreieinhalb Jahren zu einem Bachelor of Laws (LL.B.) führt und im Anschluss daran auf die juristische Staatsprüfung vorbereitet. Die von der ZEIT Stiftung gegründete Hochschule mit Promotions- und Habilitationsrecht bietet ein Jura-Studium für besonders leistungsfähige Studierende. Das strikte Auswahlverfahren ist der wichtigste Faktor für den akademischen Erfolg und die Attraktivität der Hochschule. Es hat zum Ziel, vor allem die Eignung und die Motivation für das Studium der Rechtswissenschaft und die Ausübung eines juristischen Berufs als Kriterium für die Vergabe der Studienplätze heranzuziehen. Das Auswahlverfahren der Bucerius Law School wurde von der ITB Consulting GmbH in enger Zusammenarbeit mit der Hochschule konzipiert und wird seitdem kontinuierlich durch ITB weiterentwickelt und durch aus dem Verfahren gewonnene Erkenntnisse verbessert. Die Organisation und Durchführung des Verfahrens liegt in der Verantwortung der Hochschule. Das Verfahren besteht aus einen schriftlichen und einem mündlichen Teil. Alle BewerberInnen mit vollständigen Bewerbungsunterlagen werden eingeladen, am schriftlichen Auswahlverfahren teilzunehmen. Der schriftliche Teil besteht aus einen 3-stündigen Multiple Choice Test und einer 45-minütigen Erörterung. Der Multiple Choice Test prüft analytisches und logisches Denken, den Umgang mit verschiedenartigen, komplexen Informationen und sprachliche Genauigkeit. Er umfasst vier Aufgabengruppen: Sprachstile, Diagramme und Tabellen, Indizien und Fälle und Normen. Für die Erörterung wird zwischen zwei vorgegebenen Themen gewählt. Beurteilt wird zum einen die Strukturiertheit der Darstellung, die Vielfalt der Argumente und die Folgerichtigkeit der Argumentation, zum anderen die Differenziertheit und Flüssigkeit des sprachlichen Ausdrucks sowie die Sicherheit in Grammatik, Rechtschreibung und Zeichensetzung Das Ergebnis des schriftlichen Tests wird mit der Abiturnote im Verhältnis 2:1 zu einem „Gesamtergebnis schriftlicher Teil“ verrechnet. Aufgrund dieses Gesamtergebnisses wird eine Rangreihe unter den Bewerberinnen gebildet. Zum mündlichen Teil des Auswahlverfahrens werden etwa zwei Personen pro zu vergebendem Studienplatz eingeladen, und zwar diejenigen Kandidatinnen und Kandidaten, welche im schriftlichen Teil die besten Gesamtergebnisse erzielt haben und deren Erörterung bezüglich der oben genannten Kriterien definierte Mindestanforderungen erfüllt. Der mündliche Teil besteht aus einem Thesenvortrag mit anschließender Diskussion, zwei Gesprächen mit Mitgliedern der Auswahlkommission und einer Gruppenaufgabe. Das Gesamtergebnis aus dem schriftlichen Teil und das Ergebnis aus dem mündlichen Teil werden schließlich zu einem Endergebnis verrechnet, das über die Zulassung entscheidet. Das Auswahlverfahren stellt das beste Instrument zur Qualitätssicherung an der Hochschule dar. Der unmittelbare Effekt sind für das Fach motivierte und zum Studienkonzept der Hochschule passende Studierende. Dies macht sich in den Vorlesungen und Seminaren und später bei den Leistungen im Staatsexamen bemerkbar. Es besteht eine signifikante Korrelation zwischen den Ergebnissen im Auswahlverfahren und den Noten im Studium. Die Abschlussquote von über 90 % belegt, dass durch eine sorgfältige Auswahl auch die Wahrscheinlichkeit eines Studienabbruchs deutlich sinkt.

Welche rechtlichen Fragen sind an staatlichen Hochschulen zu beachten?

Tobias Helmke, Technische Universität München

Das Bestehen eines Eignungsfeststellungsverfahrens als zusätzliche Studienzugangsvoraussetzung neben der Allgemeinen Hochschulreife findet seine Rechtsgrundlage im Bayerischen Hochschulgesetz. Die Eignungsfeststellung darf anhand folgender, abschließend im Gesetz festgelegter Kriterien erfolgen:

1. Durchschnittsnote der Hochschulzugangsberechtigung
2. fachspezifische Einzelnoten der Hochschulzugangsberechtigung
3. Auswahlgespräch
4. Test (Leistungserhebung in schriftlicher Form)
5. einschlägige Berufsausbildung oder andere berufspraktische Tätigkeiten.

Inhaltliche Voraussetzung ist zudem, dass ein besonderes Studiengangprofil normativ durch Hochschulsatzung festgelegt wird. Darin müssen die besonderen qualitativen Anforderungen, die das Bachelorstudium im Vergleich zu herkömmlichen Bachelorstudiengängen einer Fachrichtung stellt, herausgearbeitet werden (Beispiel: Technologie- und Managementorientierte Betriebswirtschaftslehre als interdisziplinärer Bachelorstudiengang, in welchem die Studierenden der Betriebswirtschaftslehre in großem Umfang die Module aus den grundständigen ingenieur- und naturwissenschaftlichen Studiengänge bestehen müssen).

Die Rechtsprechung verlangt, dass die Beurteilungs- und Bewertungskriterien, die im Eignungsfeststellungsverfahren angewandt werden, konkret an die laut Studiengangprofil erforderlichen spezifischen Kompetenzen anknüpfen müssen.

Bloßes „Interesse“ oder „Motivation“ für einen Studiengang sind nach der Rechtsprechung keine zulässigen Anknüpfungspunkte, da sie kaum objektivierbar sind und über die Eignung an sich keine Auskunft geben.

Zudem muss normativ geregelt werden, welches Organ oder welche Personen die Eignungsfeststellung vornehmen (beispielsweise der Prüfungsausschuss oder eine eigens gebildete Eignungsfeststellungskommission).

Das Eignungsfeststellungsverfahren besteht teils aus tatbestandlichen Beurteilungen, teils aus Elementen mit prüfungsspezifischem Bewertungsspielraum. Letzterenfalls gelten die prüfungsrechtlichen Grundsätze entsprechend, wonach eine verwaltungsgerichtliche Kontrolle nur eingeschränkt möglich ist. Dies gilt vor allen Dingen für das Auswahlgespräch. Erfahrungsgemäß ist es daher wichtig, das konkret hinsichtlich der einzelnen Bewerberinnen und Bewerber durchgeführte Feststellungsverfahrens möglichst aussagekräftig zu dokumentieren, um eine rechtliche Überprüfung überhaupt zu ermöglichen.

Ablauf und Organisation von Eignungsverfahren an der Fakultät für Wirtschaftswissenschaften an der TUM

Beate Pommer, Technische Universität München

Bereits zum Wintersemester 2002/2003 wurden an der Technischen Universität München (TUM) Eignungsfeststellungsverfahren (EFV) eingeführt, um mit Hilfe fachspezifischer Eignungskriterien über die studiengangspezifische Zulassung zu entscheiden. Im Bachelorstudiengang Technologie- und Managementorientierten Betriebswirtschaftslehre wurde das Verfahren zum WS 2008/09 eingeführt.

Ziele der Definition fachspezifischer Eignungsvoraussetzungen und des Auswahlverfahrens sind:

• Allen geeigneten Bewerber*innen die Möglichkeit des Studiums geben
• Studieninteressierten helfen, ihre spezifischen Talente zu identifizieren
• Treffen einer fundierten Studienfachentscheidung durch intensivere Auseinandersetzung mit Qualifikationszielen
• Chance auf Studienerfolg der Einzelnen erhöhen, Erhöhung der Studienerfolgsquoten
• Qualität in den Lehrveranstaltungen durch qualitativ homogenere Studierendenkohorte erhöhen
• Effizienterer Einsatz der staatlichen Ressourcen

In diesem Forumsbeitrag wird der zweistufige Auswahlprozess aus Sicht der Bewerber*innen und die Herausforderungen der Organisation fächerübergreifend vorgestellt:

Nach einer Online-Bewerbung einschließlich des form- und fristgerechten Uploads relevanter Unterlagen, erfolgt eine formale Prüfung auf Vollständigkeit und Richtigkeit sowie das Erfüllen genereller Zulassungsvoraussetzungen (z.B. ausreichende Schulbildung, Sprachnachweis).

In der ersten Stufe des EFV findet dann die Durchschnittsnote der Hochschulzugangsberechtigung, fachspezifische Berücksichtigung. Die Ergebnisse für die einzelnen Kriterien werden zu einem Gesamtwert summiert, anhand dessen die Bewerber*innen entweder direkt zugelassen, oder zur Teilnahme an der zweiten Stufe des Eignungsfeststellungsverfahrens eingeladen werden.

In der zweiten Stufe wird ein nicht öffentliches Auswahlgespräch in einer Gruppe mit fünf Bewerbern durchgeführt, in dem festgestellt wird, ob die Bewerber*in in der Lage ist, das Qualifikationsziel des Studiengangs selbständig und verantwortungsbewusst zu erreichen. Zur abschließenden Beurteilung werden wiederum die Durchschnittsnote der Hochschulzugangsberechtigung sowie das Ergebnis des Gesprächs herangezogen.

Für den Studiengang TUM-BWL werden in der Regel drei Gesprächstermine angeboten, zu denen je nach Gesprächsdatum bis zu 600 Bewerber eingeladen werden. Dies stellt die Fakultät organisatorisch und logistisch vor Herausforderungen. Beginnend bei Informationsveranstaltungen für interessierte Bewerber und Einzelberatungen, über die Organisation von Räumen und Prüferteams, die Zusammenführung von Bewerbern und Unterlagen mit den Prüferteams bis hin zur Auswertung und Kommunikation der Ergebnisse. 

 

Forum 8: Innovative Testformate – die Zukunft der Studieneingangstests?

Persönlichkeit erfassen jenseits von Selbstbericht - Chancen durch Objektive Persönlichkeitstests (OPT)

Prof. Tuulia Ortner & Dr. Thomas Scherndl, Universität Salzburg

Neben der Erfassung von anforderungsbezogenen Fähigkeiten, Kompetenzen und Wissensgrundlagen, werden aktuell auch Persönlichkeitsmerkmale als zusätzliche Prädiktoren für Studienerfolg und für die Leistungserbringung in spezifischen Studienfächern zunehmend als bedeutsam erachtet. Während Interviews als Möglichkeit der Erhebung in vielen Fällen die möglichen Kosten übersteigen, können zu diesem Zweck üblicherweise eingesetzte Fragebögen, welche Persönlichkeitsaspekte über Selbsteinschätzungen erfassen, zumindest bei manchen Getesteten zu Messproblemen durch mangelnde Selbstkenntnis oder mangelnde Bereitschaft zur Selbstauskunft führen. Als Alternative oder Ergänzung wurden in den vergangenen Jahren sogenannte Objektive Persönlichkeitstests (OPTs) konstruiert, welche relevante Merkmale über das Verhalten von Personen in Miniatursituationen erfassen. Diese können wie Arbeitsproben oder realitätsnahe Simulationen gestaltet sein, oder auf den ersten Blick wie Leistungstests erscheinen. Wesentlich sind dabei nicht nur standardisierte Testdurchführungsbedingungen und Auswertungsregeln, sondern auch Festlegungen im Hinblick auf die Interpretation der Scores. Gemeinsam ist den OPTs, dass die Ergebnisse möglichst wenig durch die getestete Person selbst in eine intendierte Richtung beeinflussbar sein sollen. Über diese Definition hinaus haben Vertreter dieses Testgenres allerdings wenig gemeinsam: Stark divergierende Messprinzipien, Itemformate und Scorekonzeptionen verhindern es, Verallgemeinerungen betreffend die psychometrischen Kriterien über Verfahren hinweg zu formulieren. Regelmäßig zeigten Studien in den vergangenen Jahren geringe Zusammenhänge zwischen Daten, die anhand von OPTs erfasst und solchen, die mittels Fragebogen gesammelt wurden. Neuere, moderatorbasierte Modelle bilden eine Grundlage dafür um genauer zu verstehen, was und wie OPTs messen: Als Verhalten können sie je nach Konzeption mit unterschiedlichen Repräsentationen in Zusammenhang stehen: Mit solchen, die eher mit Fragebogendaten stehen, wie auch solchen, die mit indirekten Verfahren, wie etwa Impliziten Assoziationstests in moderiertem Zusammenhang stehen. An der Universität Salzburg wurden in den vergangenen Jahren erste Ansätze entwickelt, Gewissenhaftigkeit objektiv und verhaltensbasiert zu erfassen. Das Persönlichkeitsmerkmal Gewissenhaftigkeit hatte sich in unterschiedlichen Studien als valider Prädiktor für akademischen Erfolg erwiesen. Für die Implementierung neuer Objektiver Tests zur Erfassung dieses Merkmals zur Studierendenauswahl stehen unterschiedliche innovative Möglichkeiten zur Verfügung: Neben Tests, die dazu konstruiert wurden, eine spezifische Facette der Gewissenhaftigkeit anhand mehrerer aufeinanderfolgender Items zu erfassen, legen neuere Ansätze im Hinblick auf Netzwerktheorien nahe, dass relevante Aspekte der Gewissenhaftigkeit erst über das Verhalten über Leistungsaufgaben hinweg ermittelt werden können . In einem dritten Ansatz wird skizziert, wie objektive Gewissenhaftigkeitsindikatoren auch in unterschiedlicher Weise in einem Online Self-Assessment operationalisiert werden können. Die Ansätze werden demonstriert und diskutiert.

Adaptive Tests in der Hochschule – Unüberwindbare Hürden für ein innovatives Testformat?

Dr. Ulf Kröhne, DIPF | Leibniz-Institut für Bildungsforschung und Bildungsinformation, Frankfurt

Die Anpassung der Schwierigkeit von Fragen an die bereits gegeben Antworten erscheint selbstverständlich und ist vielerorts die gelebte Praxis in mündlichen Prüfungen an Hochschulen. Auch außerhalb mündlicher Prüfungen liegen die diagnostischen Vorteile der Anpassung von Aufgabenschwierigkeiten im Rahmen computerbasierter adaptiver Tests (CAT) für Eingangstests, summative Tests und Lernbegleitende formative Tests auf der Hand: Kürzer Tests bei gleicher Genauigkeit oder höher Genauigkeit bei gleicher Länge. Die Bedeutung individueller Messgenauigkeit für Tests deren Ergebnisse direkte oder indirekte Konsequenzen für die Testteilnehmer haben, ist offensichtlich. Adaptive Verfahren der Testzusammenstellung existieren für einzelne Items, Itemgruppen (Testlets) und ganze Testteile (Multi-Stage Tests). Für die gleichzeitige Messung mehrerer Dimensionen und die Berücksichtigung von teilrichtigen Antworten existieren Weiterentwicklungen der psychometrischen CAT-Verfahren mit den entsprechenden Item-Response Theorie Modellen. Auch für die Behandlung von ergänzenden praktischen Anforderungen, wie bspw. die Berücksichtigung von zusätzlichen inhaltlichen Kriterien bei der Testzusammenstellung existieren Verfeinerungen der CAT Algorithmen, die in Form von Bibliotheken und frei nutzbaren Softwarekomponenten verfügbar sind. Vor diesem Hintergrund verwundert, dass adaptive Tests nicht der de facto Standard für Eingangstest Hochschule darstellen. In dem Vortrag werden deshalb mögliche Hürden, Probleme und Lösungsvorschläge diskutiert, die sich insbesondere auf die Notwendigkeit und den Nutzen eines kalibrierten Itempools konzentrieren.