Robuste Wissenschaft braucht robuste Korrekturen

http://10.24945/MVF.04.17.1866-0533.2028

>> Wer sind diese vier Forscher, die in der Zeitschrift „nature“ (Ausgabe 02/2016) Kritik an der eigenen Zunft üben? Es handelt sich um David B. Allison, Professor im Department Biostatistics an der Universitiy of Alabama at Birmingham, und drei Wissenschaftler im Office of Energetics an der gleichen Universität – Andrew W. Brown, Brandon J. George und Kathryn A. Kaiser. Begonnen hat alles damit, dass Allison ein Forschungspaper in einer angesehenen Fachzeitschrift las, das zu bewerten suchte, wie eine Veränderung im Fastfood-Konsum das Gewicht von Kindern beeinflusst. Dabei fiel ihm auf, dass die Analyse auf einem mathematischen Modell beruhte, das die Effekte um mehr als das Zehnfache überbewertete.  Allison schrieb den Autor an, woraufhin das Paper wenige Monate später von den Autoren zurückgezogen wurde.
Gemeinsam mit den anderen Forschern begann Allison daraufhin, besonders auf gravierende Fehler in den Forschungsarbeiten zu achten. Traten solche Fehler auf, kontaktierte sein Team den Verlag oder die Autoren. Dabei stießen die Forscher auf viele Hürden, so dass Peer Reviews nach der erstmaligen Veröffentlichung nicht konsistent durchgeführt werden konnten. Die wissenschaftliche Community müsse sich in dieser Hinsicht verbessern, schreiben die Forscher im  „nature“-Kommentar. Zu selbstgefällig verlasse sich die Wissenschaft auf das Prinzip der Selbstkorrektur. Gleichzeitig würde aber in der Praxis des wissenschaftlichen Publizierens großer Widerstand gegen eine solche Korrektur geleistet und starke Abschreckungsmittel angewendet, die im Folgenden zusammengefasst werden.

1. Die Herausgeber reagieren zu langsam und ergreifen keine angemessenen Maßnahmen.

Nach der Entdeckung eines Fehlers in einer Publikation bekam das Forscherteam Originaldaten, die online hinterlegt wurden. Zudem erhielt es die institutionelle Erlaubnis, die Daten zu reanalysieren. Darufhin ließ man dem Herausgeber der Publikation eine Mitteilung über das Einreichungssystem für Manuskripte zukommen, in dem die Notwendigkeit beschrieben wurde, eine Korrektur innerhalb von zwei Wochen vorzunehmen. Die Zeitschrift entschied 11 Monate später, die Bedenkenmitteilung des Forscherteams zu akzeptieren und den Artikel zurückzuziehen. Allerdings hat die Zeitschrift bis zum damaligen Zeitpunkt weder die Bedenkenmitteilung veröffentlicht noch die Rücknahme des Artikels bekannt gegeben.

2. Es werden keine Ansprechpartner für die Übermittlung von Bedenken definiert.

Das Forscherteam musste selbst überlegen, ob es das Bedenkenschreiben einem Teammitarbeiter der Fachzeitschrift oder dem Herausgeber schicken, das Schreiben formell als Manuskript einreichen, oder den Autor des Papers direkt kontaktieren sollte. In einigen Fällen habe man entschieden, die Autoren zu kontaktieren, wenn ein Fehler eventuell nur in einer mehrdeutigen Beschreibung bestand. In unzweideutigen Fällen habe man die Zeitschrift kontaktiert. Oftmals hätten die Zeitschriften allerdings keine Möglichkeit zur Verfügung gestellt, die Herausgeber direkt zu erreichen. Zeitschriftenmitarbeiter hätten oftmals korrespondiert, ohne sich selbst oder die Herausgeber zu identifizieren.

3. Die Zeitschriften sind nicht bereit, die Zurücknahme der Artikel bekanntzugeben.

Als das Forscherteam feststellte, dass es in einem Paper fälschlicherweise hieß, eine statistische Anpassung würde das Ergebnis verzerren, reichte es über das Manuskripte-Einreichungssystem eine Mitteilung an den Herausgeber ein. Externe statistische und von der Zeitschrift beauftragte Gutachter bestätigten den Fehler. Die Autoren wurden gebeten, ihre Artikel zurückzuziehen, doch sie weigerten sich. Schließlich veröffentlichte die Zeitschrift die Antwort der Autoren auf die Mitteilung des Allison-Teams und eine Zusammenfassung der Kritik der beauftragten Gutachter. Ein von der Zeitschrift veröffentlichtes Editorial distanzierte sich allerdings von der Verantwortung, mit der Begründung, es liege in der Verantwortung jedes einzelnen Autors sicherzustellen, dass statistische Verfahren korrekt angewendet werden und gültig sind.

4. Die Zeitschriften verlangen eine Gebühr für die Veröffentlichung des Bedenkenschreibens.

Eine Zeitschrift bot dem Foscherteam nach der Entdeckung eines Fehlers folgende Optionen an: entweder einen Online-Kommentar zu posten, oder aber eine „rabattierte“ Gebühr von 1.716 Pfund für die Publikation der Bedenken zu bezahlen. Bei einer anderen Zeitschrift des gleichen Verlags lag die Höhe der Gebühr bei 1.470 Pfund. Dass Forschungsgelder für die Korrektur von Fehlern Anderer aufgewendet werden sollen, hat das Allison-Team empört.

5. Es gibt keinen Standard-Weg für die Anfrage von Rohdaten.

In mindestens zwei Fällen hat das Allison-Team Daten bei den Autoren angefragt, statt dessen aber nur die Zusammenfassungen der Berechnungen erhalten oder gar keine Daten.Eine Zeitschrift hat ein Paper zurückgezogen, als dessen Autoren sich weigerten, ihre Daten zu zeigen oder die Diskrepanzen zu erklären, die das Forscherteam identifiziert und in einer Mitteilung an die Zeitschrift beschrieben hatte. Die direkte Zusammenarbeit mit den Autoren erwies sich als Hemmschuh bei der Korrektur der Fehler, weil die Autoren zur Reaktion nicht bereit waren.

6. Informelle Mitteilungen von Bedenken werden übersehen.

Das Forscherteam um Allison kritisiert, dass obwohl Online-Plattformen wie PubMed Commons eine Möglichkeit anbieten, publizierte Paper zu kommentieren, Zeitschriftenherausgeber als Vermittler nicht eingebunden werden. Darüber hinaus würden die Kommentare nicht in der Literatur aufgenommen. Die geposteten Bedenken befänden sich selten an prominenten Stellen auf der Website von Zeitschriften und würden auch nicht querverwiesen. Das führe dazu, so die Autoren, dass die Leser ein fehlerhaftes Paper für korrekt halten und auf dessen Basis falsche Entscheidungen auf ihrem Fachgebiet treffen.

Was empfehlen die Forscher angesichts ihrer Erfahrungen und dieser Unwilligkeit der Wissenschaft zur Selbstkorrektur? Die wissenschaftlichen Zeitschriften hätten zwar Leitlinien für die Einreichung von wissenschaftlichen Arbeiten und Peer Reviews definiert, stellen sie fest. Und auch das „Committee on Publication Ethics“ habe entsprechende Empfehlungen für Zeitschriften bereits zusammengefasst. Was aber noch fehle, seien „offizielle Leitfäden“ von anerkannten unabhängigen Institutionen für die Korrekturen von Fehlern. Zeitschriften, Verlage und wissenschaftliche Gesellschaften sollten ihrer Ansicht nach diesen Prozess standardisieren, rationalisieren und bekanntmachen. Sowohl Autoren als auch Zeitschriften sollten außerdem Daten und Codes schnell zur Verfügung stellen, wenn Fragen aufkommen. Die Forscher könnten diesen Prozess außerdem unterstützen, indem sie die Expertise anderer Wissenschaftler zur statistischen Analyse und experimentellem Design in Anspruch nehmen. Geht es nach den Autoren des Kommentars, sollte sich jeder, der ein potenzielles Problem in einer Studie entdeckt, sich engagieren – entweder indem er den Autor oder den Herausgeber kontaktiert, oder indem er einen Online-Kommentar postet. Darüber hinaus sollte das Engagement der Wissenschaftler in Post-Publication-Reviews anerkannt und mit Anreizen gefördert werden. „Eine offizielle Studie würde darüber hinaus helfen festzustellen, ob unsere Erfahrungen die Wissenschaft im Ganzen reflektieren und ob unsere Empfehlungen machbar und effektiv sind“, schreiben die Forscher zum Schluss. Eine robuste Wissenschaft brauche robuste Korrekturen. „Es ist an der Zeit, diesen Prozess weniger mühsam zu gestalten.“ <<
aus dem Englischen von Olga Gilbers

Zitationshinweis : Gilbers, O. (Übersetzung aus dem Englischen und Zusammenfassung): „Robuste Wissenschaft braucht robuste Korrekturen“, in „Monitor Versorgungsforschung“ (04/17), S. 20-21; doi: 10.24945/MVF.04.17.1866-0533.2028