Peer Review
Noch ein Gütesiegel minderer Qualität
Jede zur Publikation eingereichte wissenschaftliche Arbeit wird heute durch Fachkollegen („Peers“) begutachtet. Der Peer Review wird von einigen als hochwertiges Gütesiegel angesehen, von anderen eher mit der Demokratie verglichen: ein System voller Unzulänglichkeiten, aber das am wenigsten unzulängliche, das wir haben.1
Die Forschung zum Peer Review stützt die zweite Auffassung. So fanden beispielsweise die Reviewer des BMJ nur wenige der groben Fehler und Widersprüche, die im Rahmen einer Studie absichtlich in die zu begutachtenden Artikel eingebaut worden waren.2 Auch echter Wissenschaftsbetrug wird meist erst nach der Veröffentlichung entdeckt, wenn hunderte von kritischen Köpfen die Arbeit gelesen haben.
Da Peer Review in aller Regel unbezahlte Arbeit für vielbeschäftigte Leute bedeutet, werden typischerweise nur ein bis zwei Stunden Arbeit investiert, obwohl für eine gründliche Bewertung oft 5 oder 10 Stunden erforderlich wären.
Die Übereinstimmung zwischen einzelnen Reviewern des gleichen Artikels ist kaum höher als bei einem Losverfahren.1 In einer Studie wurden bereits publizierte Studien prominenter Psychologen erneut bei den gleichen psychologischen Top-Journalen eingereicht, allerdings unter veränderten Autorennamen. Sie wurden mehrheitlich abgelehnt – nicht wegen mangelnder Originalität, sondern wegen schlechter Qualität.3
Bisweilen fließen auch persönliche Eitelkeiten und Rivalitäten in den Review-Prozess ein, von der häufigen Empfehlung, Arbeiten des Reviewers zu zitieren über Ideenklau bis zum Behindern einer Publikation. Auch der Vertrauensschutz ist nicht gesichert: Als der führende US-Kardiologe Steven Nissen eine Arbeit über vermehrte Herzinfarkte unter dem Antidiabetikum Rosiglitazon zur Publikation beim NEJM einreichte, leitete ein Reviewer das Paper an den Hersteller Glaxo weiter, dem er als Berater verbunden war. Nach kurzer Zeit bekam Nissen Besuch von Firmenvertretern, die Druck auf ihn ausübten, die Arbeit zurückzuziehen.4 Ohne Erfolg: Nissen blieb standhaft und Glaxo wurde 2012 von einem US-Gericht zur höchsten jemals verhängten Strafe gegen ein Pharmaunternehmen verurteilt.
- Smith R. The trouble with medical journals. London: The Royal Society of Medicine Press, 2005. S. 83-94.
- Schroter S, Black N, Evans S et al. Effects of training on quality of peer review: randomized controlled trial. BMJ 2004;328:673
- Peters D. Ceci S. Peer-Review practices of psychological journals: the fate of submitted articles submitted again. Behav Brain Sci 1982;5:187-255.
- http://www.nytimes.com/2010/02/23/health/23niss.html