Windeler: „Schlechte Forschung ist einfach schlecht“

>> Bei der Vorbereitung des Symposiums ist Windeler, wie er zu Beginn der Veranstaltung ausführte, unter anderem auf ein Zitat einer Frau gestoßen, die sich an einer  qualitativen Untersuchung beteiligt hatte und sagte: „Ganz ehrlich: Mich interessieren die Zahlen nicht. Wenn ich zur Mammografie gehe, will ich wissen, was mit mir ist und nicht, was mit 98% der Frauen ist. Jeder Mensch ist anders.“ Das ist nach Worten Windelers eine sehr nachvollziehbare Haltung (s. dazu auch Seite 20/21) , setzt aber auch voraus, dass die zu kommunzierenden Zahlen selbst richtig sind.
Das indes bezweifelt der IQWiG-Chef im Großen und Ganzen und bekommt dabei Schützenhilfe von der AWMF, die in einer Presseverlautbarung (s. S. 22) feststellte, dass sich unseriöse Informationen ungehemmt ausbreiten würden. „Kommunikation hat die Motivation, Menschen mit guten und richtigen Informationen zu versehen“, sagt Windeler und fordert eine „weitreichende Verpflichtung“ für Wissenschaft und EBM, für richtige und belastbare Erkenntnisse zu sorgen. Denn – so Windeler – „sonst können wir noch so tolle Kommunikationsideen und -strategien entwickeln, werden aber nicht mehr machen als aus wissenschaftlichem Müll besser konsumierbaren Müll, was nicht Sinn der Sache sein kann“.
Wer, so Windeler weiter, den Anspruch erhebe, dass die Öffentlichkeit, die Laien, Bürger, Ärzte und Politik wissenschaftliche Erkenntnisse zur Kenntnis und ernst nehmen oder sogar zur Grundlage für Entscheidung machen sollten, müsse sich noch ernsthafter als bisher bemühen, diesem Anspruch gerecht zu werden.
Auf die selbst gestellte rhetorische Frage „Wie steht es damit?“ hat er natürlich auch gleich eine Antwort, die er dem Artikel „Die geschlossene Gesellschaft und ihre Freunde“ von Frank Renkewitz, erschienen im Nomos-Buch „Evidenzbasierte, evidenzinformierte Gesundheitskommunikation“1 entnahm. In diesem Artikel nimmt Dr. rer. nat. Frank Renkewitz, Habilitand, Lehrstuhlmitarbeiter  und Akademischer Rat im Fachgebiet Psychologie der Universität Erfurt, Bezug auf das „Reproducibility-Project: Psychology“, das es schaffte, 100 Studien aus drei führenden und zitationsstarken psychologischen Fachzeitschriften zu replizieren. Während die Originalstudien durchweg signifikante Ergebnisse erzielt hätten, wären bei den replizierten Studien aus den Bereichen der Sozialpsychologie und der Kognitiven Psychologie nur noch rund ein Drittel (36%) signifikante Ergebnisse aufgetreten, zudem hätten sich die Effektstärken im Mittel von 0,4 auf 0,2 halbiert. Windeler: „Ich glaube, dass das nicht nur ein Problem der Psychologie sein könnte, sondern auch das von anderen Disziplinen und solche Ergebnisse auch in der medizinischen Forschung nicht unwahrscheinlich wären.“
Wer allerdings die von Renkewitz zitierte Originalarbeit „The Reproducibility Project –An Open, Large-Scale, Collaborative Effort to Estimate the Reproducibility of Psychological Science“2 sichtet, darf einen Hinweis nicht übersehen, der da lautet: „Der wichtigste Punkt ist der, dass Fehler beim Replizieren nicht direkt anzeigen, dass der ursprüngliche Effekt falsch ist.“ Die beobachteten Unterschiede könnten auch aufgrund unzureichender Leistung, Designprobleme oder bekannter wie unbekannter limitierender Bedingungen aufgetreten sein.
Windeler hält es dennoch mit Renkewitz, der in seinem Artikel gemahnt hatte, dass durch die fehlende Replikation das Bild einer Wissenschaft entstünde, die Erfolge und Innovationen beinahe unterbrechungslos aneinanderreiht und so das Bild einer Wissenschaft vermittelte, die kaum noch in der Lage ist, Irrtümer von Erkenntnissen zu unterscheiden. Wobei Renkewitz allerdings darauf hinwies, dass sich nach den Replikations-Erkenntnissen einiges zu ändern scheine, was Windeler aber gleich  mit den Stichworten „Research Waste“, „Publication
Biases“, „Predatory Journals“ sowie dem „Dauergeschwätz um Real World Data“ ergänzte.
Doch ebenso hält es der IQWiG-Chef für eine fatale Entwicklung, die Integrität von Forschung mit der Integrität von handelnden Personen zu verwechseln. Schlechte Forschung werde nach Windelers Meinung keinen Deut besser, wenn sie „von wohlmeinenden, von keinen Interessenkonflikten berührten ehrlichen Menschen mit ethisch begrüßenswerten Motiven gemacht“ werde, denn „schlechte Forschung ist einfach schlecht und deren Ergebnisse sind unbrauchbar“.
Darum macht er sich für sorgfältige wissenschaftliche Methoden – wozu eben auch die Replikation gehöre – stark, die dazu erfunden worden seien, „ohne Ansehen der Integrität und ohne Betrachtung der Motivation der Personen“ zu verlässlichen und einigermaßen fehlerarmen Ergebnissen zu kommen. Darum sollten alle EBM-Fans aufpassen – was in den letzten Jahren nicht genug geschehen sei – das nicht die zentralen wissenschaftlichen Grundlagen unter einem Berg von Motivationsforschung und einem ebensolchen von persönlicher Integritätsforschung begraben würden. Grund- und Gründungsidee der EBM und damit Basis der Evidenzhierarchie sei es doch zu sagen: „Es kommt darauf an, was gesagt wird und nicht von wem.“ Windeler: „Es erscheint mir notwendig, dieses Prinzip wieder verstärkt in den Fokus zu nehmen und sich neu darum zu kümmern.“ <<
von: MVF-Chefredakteur Peter Stegmaier