In der heutigen Wissenschaftslandschaft haben sich bibliometrische Kennzahlen als scheinbar unverzichtbares Instrument zur Bewertung von Forschungsleistungen etabliert. Doch während Universitäten, Fördereinrichtungen und Evaluationsgremien routinemäßig auf Metriken wie Impact Factoren, Zitationsindizes und h-Indizes zurückgreifen, um die Qualität und Relevanz wissenschaftlicher Arbeit zu quantifizieren, wird dieses Vorgehen auch zunehmend kritisch bewertet. 

Im Anschluss an die Diskussion um fragwürdige Verlagspraktiken und die damit einhergehende Priorisierung von Quantität gegenüber Qualität, wie sie Tobias Pohlmann kürzlich aufzeigte, vertieft dieser Beitrag den Aspekt der bibliometrischen Bewertung und legt dar, inwiefern diese Reduktion komplexer Forschungsleistungen auf numerische Werte die Gefahr birgt, wesentliche Aspekte wissenschaftlicher Arbeit zu übersehen und falsche Anreize zu setzen.

Instrumente und Einsatzfelder der Bibliometrie

Bibliometrie ist die quantitative Analyse von wissenschaftlichen Publikationen und deren Rezeption. Sie umfasst verschiedene Methoden und Metriken, die darauf abzielen, den Einfluss und die Qualität wissenschaftlicher Arbeiten messbar zu machen. Zu den gängigsten bibliometrischen Kennzahlen gehören:

• Der Journal Impact Factor (JIF) misst die durchschnittliche Zitationshäufigkeit von Artikeln einer wissenschaftlichen Zeitschrift innerhalb eines bestimmten Zeitraums. Er gibt Auskunft über die Sichtbarkeit und den Einfluss einer Zeitschrift in ihrem Fachgebiet, sagt jedoch nichts über die Qualität einzelner Artikel aus. Der JIF kann leicht manipuliert werden und berücksichtigt fachspezifische Unterschiede in Publikations- und Zitationskulturen nicht angemessen.
• Der h-Index bewertet die wissenschaftliche Leistung eines Forschers/einer Forscherin basierend auf der Anzahl seiner Publikationen und deren Zitierungen. Er ist robuster gegen Manipulationen als der JIF und berücksichtigt sowohl Produktivität als auch Impact. Allerdings ist er eher zur Bewertung längerfristiger Leistungen und publikationsstarker Wissenschaftler*innen geeignet.
• Zitationsanalysen untersuchen die Beziehungen zwischen zitierenden und zitierten Arbeiten, um Einfluss und Verbindungen in der Wissenschaft aufzuzeigen. Sie können Forschungstrends, einflussreiche Publikationen und fachliche Beziehungen zwischen Personen oder Institutionen identifizieren. Jedoch können Zitationsanalysen durch Faktoren wie Selbstzitierungen, Zitierkartelle oder Indexierungsfehler in ihrer Aussagekraft eingeschränkt sein.
• Altmetrics erfassen die Resonanz wissenschaftlicher Arbeiten in sozialen Medien, Nachrichtenportalen und anderen Online-Plattformen. Sie bieten eine breitere und schnellere Perspektive auf den Impact von Forschung jenseits traditioneller Zitationen. Altmetrics können jedoch leicht manipuliert werden und spiegeln nicht unbedingt die wissenschaftliche Qualität wider.

Bibliometrische Kennzahlen haben sich im Wissenschaftsbetrieb als quantitative Indikatoren für Produktivität und Einfluss etabliert. Sie werden genutzt, um die Leistung von Forschenden oder Institutionen zu bewerten, etwa bei der Vergabe von Forschungsgeldern oder Professuren. Darüber hinaus helfen bibliometrische Analysen, Forschungstrends zu erkennen und strategische Schwerpunkte zu setzen, um die eigene Positionierung im wissenschaftlichen Umfeld zu stärken.

Kritische Betrachtung: Schattenseiten und Auswirkungen der Bibliometrie auf die Wissenschaftskultur

Bibliometrische Kennzahlen sind weitverbreitete Werkzeuge zur Bewertung wissenschaftlicher Leistungen, doch sie weisen erhebliche Schwächen auf, die ihre Aussagekraft und Fairness in Frage stellen. Ein zentraler Kritikpunkt ist die Fokussierung auf quantitative Aspekte, die oft die inhaltliche Qualität der Forschung vernachlässigt. Die reine Anzahl von Publikationen oder Zitationen sagt wenig über den tatsächlichen wissenschaftlichen Wert oder die Innovationskraft einer Arbeit aus. Diese „quantitative Verzerrung“ kann dazu führen, dass kurzfristige Effekte bevorzugt werden, während langfristig wirkende Forschung unterbewertet bleibt. Wissenschaftler*innen könnten daher risikoaverse Strategien verfolgen und innovative, aber zeitintensive Projekte vernachlässigen. Ein weiteres Problem liegt in der Vergleichbarkeit zwischen Fachgebieten. Unterschiedliche Publikations- und Zitationskulturen machen es schwierig, wissenschaftliche Leistungen fair zu bewerten. Beispielsweise haben Top-Journale in der Mathematik einen deutlich niedrigeren Impact Factor als jene in der Zellbiologie. Zudem werden Publikationen in nicht-englischer Sprache oder in Buchform oft unzureichend berücksichtigt, was bestimmte Disziplinen benachteiligt. Auch Manipulationen wie Selbstzitierungen, Zitierkartelle oder das künstliche Aufteilen von Forschungsergebnissen („Salami-Slicing“) können bibliometrische Kennzahlen verzerren und die Integrität des wissenschaftlichen Prozesses untergraben. Der Matthäus-Effekt – das Phänomen, dass bereits bekannte Autor*innen häufiger zitiert werden und dadurch noch bekannter werden – verstärkt die Ungerechtigkeit in der Verteilung von Anerkennung und Ressourcen. Etablierte Forscher*innen profitieren überproportional, während Nachwuchswissenschaftler*innen oder innovative, aber weniger bekannte Forscher*innen benachteiligt werden. Darüber hinaus kann der Druck, möglichst viele Publikationen zu produzieren, dazu führen, dass andere wichtige akademische Aufgaben wie die Lehre vernachlässigt werden. Dies hat langfristig negative Auswirkungen auf die Qualität der Ausbildung und die Entwicklung des wissenschaftlichen Nachwuchses.

Diese Entwicklungen verdeutlichen, dass ein übermäßiger Fokus auf bibliometrische Kennzahlen das Potenzial hat, die Grundlagen wissenschaftlicher Arbeit zu verzerren. Die Qualität und Relevanz der Forschung könnten zugunsten quantitativer Metriken in den Hintergrund treten. Eine ausgewogene Bewertung wissenschaftlicher Leistung sollte daher eine Kombination aus quantitativen Metriken und qualitativen Beurteilungen umfassen. Nur so lässt sich die Komplexität und Vielfalt der Forschungslandschaft angemessen erfassen und eine faire sowie nachhaltige Wissenschaftskultur fördern.

Alternativen und Lösungsansätze

Angesichts der Probleme mit rein bibliometrischen Bewertungen sind alternative und ausgewogenere Ansätze zur Beurteilung wissenschaftlicher Leistungen erforderlich. Eine wichtige Initiative in diesem Bereich ist die Coalition for Advancing Research Assessment (CoARA), gegründet im Dezember 2022. CoARA ist ein weltweiter Verbund von Forschungseinrichtungen, der einen Kulturwandel in der Forschungsbewertung anstrebt. Basierend auf dem Agreement on Reforming Research Assessment (ARRA), das von hunderten Institutionen unterzeichnet wurde, zielt CoARA darauf ab, qualitative Bewertungen durch transparentes Peer Review zu fördern, die Vielfalt von Forschungsergebnissen und -tätigkeiten zu berücksichtigen und neue Bewertungsstandards zu entwickeln, die über reine Publikationsmetriken hinausgehen. In Übereinstimmung mit den Zielen von CoARA sollten umfassendere Bewertungen verschiedene Aspekte wissenschaftlicher Arbeit berücksichtigen. Neben Publikationen und Zitationen könnten auch Faktoren wie Lehrtätigkeit, Mentoringprogramme, Öffentlichkeitsarbeit, Patente oder Forschungskooperationen einbezogen werden. Qualitative Beurteilungen durch Fachkolleg*innen bleiben ein wichtiges Instrument zur Bewertung wissenschaftlicher Arbeit. CoARA betont die Bedeutung transparenter Peer-Review-Prozesse, die die Qualität, Originalität und Relevanz von Forschung besser erfassen können als rein quantitative Metriken.

Das Konzept der „Responsible Metrics“ und das Leiden Manifesto bieten Richtlinien für einen verantwortungsvolleren Umgang mit Metriken in der Wissenschaftsevaluation. Diese Ansätze ergänzen die Bemühungen von CoARA, indem sie Transparenz, Vielfalt und Reflexivität bei der Verwendung von Metriken fordern. Die Entwicklung und Anwendung fachspezifischer Metriken, wie sie auch von CoARA angestrebt wird, könnte den unterschiedlichen Publikations- und Zitationskulturen in verschiedenen Disziplinen Rechnung tragen. Dies würde fairere Vergleiche innerhalb von Fachgebieten ermöglichen und die Besonderheiten einzelner Forschungsfelder berücksichtigen.

Diese Ansätze zielen darauf ab, eine ausgewogenere und gerechtere Bewertung wissenschaftlicher Leistungen zu ermöglichen. Sie erfordern zwar einen höheren Aufwand als die alleinige Verwendung standardisierter bibliometrischer Kennzahlen, versprechen aber eine differenziertere und letztlich aussagekräftigere Evaluation der vielfältigen Aspekte wissenschaftlicher Arbeit.

Fazit

Die Diskussion um bibliometrische Kennzahlen zeigt, wie wichtig ein reflektierter und differenzierter Umgang mit der Bewertung wissenschaftlicher Leistungen ist. Bibliometrie bietet Orientierung, darf aber die Komplexität wissenschaftlicher Arbeit nicht reduzieren. Eine ausgewogene Bewertung erfordert die Kombination quantitativer und qualitativer Ansätze sowie die Berücksichtigung disziplinspezifischer Eigenheiten. Initiativen wie CoARA und das Leiden Manifesto liefern wichtige Impulse für eine gerechtere Forschungsevaluation. Forschende sind gefordert, sich aktiv an der Gestaltung dieser Entwicklung zu beteiligen.

Ein Beitrag von Arvid Deppe

KI-Nutzung

• ChatGPT: Kürzung
• DeepL: Übersetzung von Quellen