Evaluierungen von Forschung bieten oftmals einen gelenkten Blick auf wissenschaftliche Aktivitäten, ihre Qualität und Leistungen, indem sie wenige Dimensionen von Forschung in den Blick nehmen. In der medizinischen Forschung gibt es eine vergleichsweise lange Tradition der Evaluierung. Bei der etablierten leistungsorientierten Mittelvergabe (LOM) für die Forschung an medizinischen Fakultäten werden zumeist zwei Indikatoren herangezogen (zu eingeworbenen Drittmitteln und Publikationen).

Die Fokussierung auf diese beiden Indikatoren wird nicht nur unter medizinischen Forscherinnen und Forschern kritisch diskutiert. Das im Rahmen des BMBF-Förderschwerpunkts WiHo geförderte Projekt „Qualitätsmaße zur Evaluierung medizinischer Forschung“ (QuaMedFo) befasst sich aus der Perspektive der Wissenschaftsforschung mit den Möglichkeiten und Grenzen der Erweiterung und Differenzierung von Ansätzen zur Erfassung und Messung medizinischer Forschungsaktivitäten und -leistungen.

Das Projekt QuaMedFo arbeitet seit 2019 mit drei Pilotfakultäten zusammen und hat in einem ersten Schritt verschiedene Dimensionen von Forschungsaktivitäten und -outputs identifiziert und analysiert. Neben den Daten zu Publikationen und Drittmitteln wurden dabei z. B. auch Altmetrics sowie Informationen zu Beteiligung an der Entwicklung von Leitlinien und Tagungen sowie Patentaktivitäten von Forschenden an medizinischen Fakultäten erhoben.

Ein häufig thematisierter Aspekt rund um die Evaluierung ist die Frage, ob und ggf. inwieweit Evaluationsinstrumente die Veröffentlichungspraxen und -strategien von Wissenschaftlerinnen und Wissenschaftlern beeinflussen. Am Beispiel der Publikationsdaten der QuaMedFo-Pilotfakultäten wurden Veränderungen bei Artikeln in wissenschaftlichen Fachzeitschriften in Mehrautorschaft identifiziert, die zu einer größeren Berücksichtigung dieser Artikel bei der LOM führen: So zeigt sich für eine Pilotfakultät, die die Empfehlungen der DFG zu einer Leistungsorientierten Mittelvergabe aus dem Jahr 2004 umgesetzt hat und Erst- und Letztautorschaften überproportional honoriert, für bestimmte Fachgebiete ein Anstieg des durchschnittlichen Journal Impact Factors (JIF) für Publikationen in wissenschaftlichen Fachzeitschriften, bei denen die Erst- oder Letztautorschaft bei Forschenden der Pilotfakultät liegt. Dieser Zusammenhang ist nicht für alle Fachgebiete einer Pilotfakultät gleichermaßen stark ausgeprägt. Der Befund wird von den Projektbeteiligten als Indiz für die ohnehin in der Fachcommunity vielfach diskutierte Notwendigkeit einer fachspezifischen Gewichtung bzw. Normalisierung gesehen. Das Projekt liefert damit Argumente für eine Fachklassifikation, die für die Kategorisierung sowohl von Publikationen als auch von medizinischen Fakultäten anwendbar wäre, jedenfalls wäre dies im Falle der LOM die Voraussetzung für eine Optimierung.

In einem zweiten Schritt wurden in QuaMedFo die verschiedenen Daten und Informationen zu Forschungsaktivitäten und -outputs zusammengeführt und auf ihre Zusammenhänge hin untersucht. Die bisherigen Ergebnisse geben Aufschluss über die dahinter liegenden Prozesse: Während z. B. in Journalartikeln Grundlagenforschung stärker als klinische Forschung zitiert wird, ist dies umgekehrt bei den Erwähnungen von wissenschaftlichen Fachartikeln auf sozialen Medien wie Twitter oder Facebook (und anderen Altmetrics-Dimensionen). Insgesamt korrelieren altmetrische Indikatoren nur schwach mit zitationsbasierten Leistungsindikatoren (z. B. JIF). Die Ergebnisse variieren nach medizinischer Disziplin und dem untersuchten Indikator, z. B. wird medizinisch-psychologische Forschung auf Social-Media-Plattformen tendenziell stärker geteilt als andere Disziplinen, was bedeutet, dass der gesellschaftliche Impact über soziale Medien stark vom Forschungsprofil einer medizinischen Fakultät geprägt wird – ein Umstand, der von Relevanz für die strategische Kommunikation und Bewertung von Forschung ist.

Ein weiteres Beispiel für die Prozesse, Kontexte und Strukturen von Forschungsaktivitäten und -output liefert der Transfer von Forschungsergebnissen in die klinische Praxis, beispielsweise über medizinische Leitlinien. So zeigt sich, dass die Autorinnen und Autoren jüngerer Leitlinien der höchsten Evidenzstufe der Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften (S2e und S3 der Jahre 2017 und 2018, n = 70) ein relativ hohes Forschungsalter aufweisen (gemessen am Zeitpunkt ihrer ersten Fachpublikation in einer wissenschaftlichen Zeitschrift). In den untersuchten Leitlinien stammen darüber hinaus nur rund 9 % der zitierten Quellen aus den vorangegangenen zwei Jahren. Beide Befunde geben Aufschluss über die Dauer der Übersetzung von wissenschaftlichen Ergebnissen in die klinische Praxis. Konkret zeigen sie, dass es einerseits gelingt, trotz in der Regel fehlender Honorierung in der LOM besonders erfahrene Wissenschaftlerinnen und Wissenschaftler zur Abfassung von Leitlinien zu gewinnen und dass andererseits ein Zitationsfenster von zwei Jahren nicht geeignet ist, den medizinisch-klinischen Impact von Publikationen angemessen abzubilden.

Im Rahmen des Projekts QuaMedFo wurde der Transfer in die Community der medizinischen Forscherinnen und Forscher von Anfang an mitgedacht. So wurden die Zwischenergebnisse mit den Pilotfakultäten diskutiert, auch um im noch ausstehenden dritten Schritt die Grundlage zur Untersuchung der Machbarkeit, Akzeptanz und Praxisrelevanz bei der Anwendung differenzierterer Analyseansätze zu schaffen (z. B. Evaluationen oder strategische Entscheidungsprozesse in medizinischen Fakultäten). Am Ende des Projekts sollen damit Vorschläge zur Messung wissenschaftlicher Exzellenz vorliegen, die auch von anderen Fakultäten adaptiert werden können.