Towards objectivity in research evaluation using bibliometric indicators – A protocol for incorporating complexity

Publications are thought to be an integrative indicator best suited to measure the multifaceted nature of scientific performance. Therefore, indicators based on the publication record (citation analysis) are the primary tool for rapid evaluation of scientific performance. Nevertheless, it has to be questioned whether the indicators really do measure what they are intended to measure because people adjust to the indicator value system by optimizing their indicator rather than their performance. Thus, no matter how sophisticated an indicator may be, it will never be proof against manipulation. A literature review identifies the most critical problems of citation analysis: database-related problems, inflated citation records, bias in citation rates and crediting of multi-author papers. We present a step-by-step protocol to address these problems. By applying this protocol, reviewers can avoid most of the pitfalls associated with the pure numbers of indicators and achieve a fast but fair evaluation of a scientist's performance. We as ecologists should accept complexity not only in our research but also in our research evaluation and should encourage scientists of other disciplines to do so as well.

ZusammenfassungPublikationen gelten als guter integrativer Gradmesser für die Beurteilung wissenschaftlicher Leistung. Deswegen werden Indikatoren, die auf der Publikationstätigkeit beruhen, zunehmend für die Evaluation eingesetzt. Dabei ist es jedoch fraglich ob der Indikator wirklich misst, was er messen soll, da sich die Menschen an das System anpassen und eher ihren Indikatorwert optimieren als die Leistung für die der Indikator stehen soll. Kein Indikator ist per se immun gegen Manipulationen, wie hoch entwickelt er auch sein mag. Eine Literaturübersicht identifiziert die größten Problemfelder der Zitationsanalyse: Datenbankineffizienz, Aufblähen von Publikationstätigkeit, systematische Verzerrungen bei Referenzen, sowie Schwierigkeiten den Beitrag Einzelner zu Artikeln mit vielen Autor/innen zu bewerten. Wir präsentieren ein detailliertes Prüfschema, dessen systematische Anwendung die häufigsten Schwierigkeiten im Zusammenhang mit bibliometrischen Indikatoren minimiert und dadurch eine zügige und faire Bewertung wissenschaftlicher Leistung erleichtert. Schließlich sollten wir Ökolog/innen Komplexität nicht nur in unserer Forschung akzeptieren sondern uns und unsere Kolleg/innen aus anderen Fachbereichen ermutigen, Komplexität auch in der Evaluation von Forschungstätigkeit zu akzeptieren und in die Bewertung einzubeziehen.