In diesem Monat möchte ich auf die Bedenken eingehen, die viele in unserer Gemeinschaft hinsichtlich der Bewertung der Forschungsqualität hegen.
Wie ich in meiner letzten Nachricht erwähnte, ist eine solche Bewertung für Unternehmen relativ einfach - man kann die Gewinn- und Verlustspalte betrachten. In der akademischen Forschung sind die Maßstäbe für den Erfolg jedoch komplexer; um der Wissenschaft gerecht zu werden, ist eine multidimensionale Analyse erforderlich. Leider sind diejenigen, die letztlich über die Forschungsförderung entscheiden, nicht unbedingt Experten - und allzu oft schauen sie in erster Linie auf bibliometrische Daten wie die Anzahl der Zitate, die eine Publikation oder ein Forscher erhalten hat, den h-Index des Forschers und so weiter.
Während die Anzahl der Zitate als Indikator für den Einfluss einer Arbeit oder eines Forschers in einem bestimmten Bereich wohl eine gewisse Bedeutung hat, ist die Bewertung bei sehr jungen Arbeiten, die noch keine Zeit hatten, Zitate zu sammeln, schwieriger. In diesem Fall ist es üblich, die Zitate zu betrachten, die eine bestimmte Zeitschrift in der Vergangenheit bekommen hat, indem man ein Maß wie den Journal Impact Factor der Analysefirma Clarivate verwendet. Der Zusammenhang zwischen der Qualität einer einzelnen Forschungsarbeit und den mittleren bibliometrischen Daten der Zeitschrift, in der diese veröffentlicht wurde, ist jedoch, gelinde gesagt, äußerst indirekt. Dennoch verlangen einige Förderorganisationen, dass Projektergebnisse nur in einer Zeitschrift veröffentlicht werden, die gemessen am Impact Factor im obersten Viertel (Quartile) liegt. Das ist keine gute Entwicklung.
Vor elf Jahren formulierte eine Gruppe von Herausgebern und Verlegern, Empfehlungen an Förderorganisationen, akademische Einrichtungen, Zeitschriften, Organisationen die Metriken liefern und an jeden Einzelnen von uns. Diese wurden in der San Francisco Declaration on Research Assessment (DORA; sfdora.org) festgehalten. Mehr als 24.000 Einzelpersonen und Organisationen (einschließlich Optica) in 165 Ländern haben die Erklärung in den letzten zehn Jahren unterzeichnet. Im Dezember 2023 hat einer der Unterzeichner, die Universität Sorbonne in Paris, sogar ihr Abonnement für die von Clarivate angebotenen bibliometrischen Tools (einschließlich Web of Science) gekündigt. Nichtsdestotrotz suchen einige immer noch nach einfachen Qualitätsmerkmalen - und der Impact Factor von Zeitschriften, ein zweifelhaftes Qualitätskriterium für die Bewertung einzelner Arbeiten, wird weiterhin verwendet.
Wir sind uns alle einig, dass jede wissenschaftliche Arbeit es verdient, gründlich begutachtet zu werden. Bei den meisten Arbeiten geschieht dies mehrmals und unabhängig voneinander - durch die Zeitschrift im Rahmen des Peer-Review-Verfahrens, durch eine oder mehrere Förderorganisationen, durch Berufungskommissionen und vielleicht durch noch andere. Diese Wiederholung scheint nicht sehr effizient zu sein. In Anbetracht des offensichtlichen und anhaltenden Wunsches nach einem einfach zu handhabenden Qualitätssiegel wäre es schön, mehr Effizienz einzuführen - zum Beispiel durch die Verwendung des Ergebnisses des ersten Peer-Review-Verfahrens. Eine Reihe von Zeitschriften, darunter auch einige Optica-Journale, bieten bereits ein transparentes Peer-Review-Verfahren an, bei dem Autoren und Gutachter vereinbaren können, den gesamten Schriftverkehr des Peer-Review-Verfahrens als Teil der veröffentlichten Arbeit zur Verfügung zu stellen. Dies ist zwar ein Schritt in die richtige Richtung, bietet aber noch kein Qualitätssiegel, das von Nichtfachleuten leicht verwendet werden kann.
Diese Situation zu verbessern, sollte ein Thema sein, das für alle in der Forschungslandschaft relevant ist.
Gerd Leuchs,
Optica Präsident