„Big Data: zwischen Big Chance und Big Error“

http://doi.org/10.24945/MVF.05.18.1866-0533.2093

>> Beginnen wir mit etwas, das Sie beide wohl einen wird: die Bias-Reduktion.
Antes: Gerne, denn Fehler und Irrtum sind Grundbestandteil von Forschung seit 2000 Jahren.

Häussler: Jede Forschungsgattung, zur der auch die Sozialforschung gehört, beschäftigt sich seit vielen Jahren mit Methoden, um den Irrtum zu minimieren. Das ist aber nichts Big-Data-Spezifisches, um das es in diesem Interview doch gehen soll.

Nachdem so schnell eine Gemeinsamkeit gefunden wurde, gehen wir doch zu „Big Data“ über. Wie, Herr Prof. Antes, würden Sie den Satz vervollständigen: „Big Data ist ...
Antes: „… gegenwärtig eine der größten Irreführungen, die schleunigst auf den wahren Kern zurückgeführt werden sollte.“

Häussler: „… als ein Werbeslogan entstanden, der dann zu einer schillernden Projektionsfläche für Sehnsüchte und Ängste gegenüber der Exploration von bisher unberührten Welten wurde, die sich in großen Gebilden von Informationen verbergen können.“ Wenn ich zudem eine Begriffsänderung einführen könnte, würde ich nicht länger von „Big Data“ sprechen, sondern von „explorativer Wissenschaft“.

Antes: Ich brauche keinen zweiten Satz, ich bin ein Freund der Kürze.

„Der Käsekonsum entwickelt sich von 2000 bis 2010 parallel zur Anzahl der Menschen, die auf tragische Weise unter ihrer Bettdecke erstickt sind.“ „Eine Zehn-Jahres-Korrelation besteht auch zwischen den von 1999 bis 2009 in einem Pool Ertrunkenen und der Anzahl jährlicher Filmrollen von Nicolas Cage.“ Das schrieb der Journalist W. Bartens in der „Süddeutschen Zeitung“ vom 18.3.2018, was Sie, Herr Professor Häussler in Ihrem aktuellen Beitrag in MVF 04/18 unter dem Titel „Von Big Data zur Exploration von Assoziationen im Raum von Morbidität und Versorgung“ als Fußnote angaben. Herr Prof. Antes, kann man sich bei „Big Data“ der Vorstellung hingeben, dass hier „alles mit allem korreliert und jeder sinnlose Zusammenhang kolportiert“ wird?
Antes: Eine gute Zusammenfassung. Gerade diese Korrelationen – sogenannte „Spurious Correlations“ – sind das große Problem, weil sie den Blick auf die wahre Erkenntnis vernebeln, teilweise sogar völlig verdecken.

Scheinkorrelation würde man vielleicht auf Deutsch sagen?
Antes: Der deutsche Begriff ist üblich, aber falsch. Die Zahlen sind natürlich korreliert. Der Schein kommt durch die falsche Interpretation, die das Ganze zu einem irreführenden sinnvollen Zusammenhang verfälscht. Darum muss man unbedingt Mechanismen entwickeln, um all diese irreführenden Korrelationen und Quasi-Kausalitäten zu entlarven und möglichst rasch auszuschalten. Es würden sich so manche „Spurious Correlations“ entlarven, denn wenn sie kausal wären, könnte man beispielsweise durch die Reduktion des Käsekonsums den Tod im Bettlaken vermeiden – was natürlich blanker Unsinn ist.

Können Sie ein Beispiel anführen, bei der eine Korrelation gefunden wurde, die im Fach Versorgungsforschung tatsächlich große Verwirrung gestiftet hat?
Häussler: Wir haben vor Jahren eine Untersuchung zu einem relativ neuen Medikament gegen Psychosen durchgeführt. Das betreffende Neuroleptikum zeigte sich in den vorliegenden Tests den Vergleichstherapien überlegen, so dass erwartet wurde, dass Patienten, die mit dem neuen Medikament therapiert werden, weniger Krankenhauseinweisungen aufweisen würden.

Und was haben Sie gefunden?
Häussler: Mehr Krankenhauseinweisungen! In der Analogie zum Käse ist das ein Phänomen des Confoundings, weil sich nun einmal in Daten Zusammenhänge abbilden können, die durch möglicherweise dahinterliegende, nicht sichtbare Faktoren getriggert werden. Die Erklärung für dieses scheinbar paradoxe Phänomen war, dass das neue Medikament, das im Test besser abgeschnitten hat und mit offensichtlich mehr Krankenhauseinweisungen verbunden ist, in der Versorgungswirklichkeit vor allem chronifizierten schweren Fällen gegeben wurde, bei denen ältere Medikamente nicht mehr oder nicht mehr richtig funktioniert haben.

Antes: Das Käse-Bettlaken-Beispiel stammt übrigens von mir.

Häussler: Herr Antes, im Grunde genommen nutzen Sie eine alte rhetorische Technik, indem Sie die Meinung des Gegners lächerlich machen. Wer ist schon so einfältig, den Käsekonsum mit etwas in Verbindung zu setzen, was originär mit Käsekonsum nichts, aber auch gar nichts zu tun hat. Solche Scheinzusammenhänge zu vermeiden, gehört doch zum Grundwerkzeug.

Antes: Eigentlich schon, aber der Gefahr erliegen doch unglaublich viele.

Häussler: Na ja.

Antes: Wir sehen das fast täglich. Wenn Sie jetzt bei „Big Data“ beginnen, nicht mehr Menschen, sondern Maschinen in 2.500 oder mehr Variablen herumwühlen zu lassen, dann ist das gleichbedeutend mit einer sehr hohen Anzahl von Korrelation (über drei Millionen). Dadurch wird ganz zwangsläufig ein hoher Anteil „spurious“ sein, also eine sinnfreie hohe Korrelation  anzeigen, wobei die Anzahl der falschen Signale in vielen Fällen sogar überproportional zunimmt.

Häussler: Wir reden doch von Menschen, nicht von Maschinen, die sich mit „Big Data“ beschäftigen.

Antes: Wir reden hier natürlich auch von Maschinen. Denn „Big Data“ und künstliche Intelligenz werden oft wie Zwillinge behandelt, die noch viel mehr Unsinn in großen Datenmengen finden werden als viel langsamer herumwühlende Menschen. Im Prinzip wird doch nichts anderes versucht, als große Datenmengen nach immer neuen Zusammenhängen zu screenen, wobei nun einmal bekannt ist, dass jedes Screeningverfahren „falsch-positive“ Ergebnisse auswerfen wird. Dabei können die „falsch-positiven“ schneller wachsen als die „richtig-positiven“ Signale. Genau das ist die große Falle des „Big Data“, in die allzu naive Data-Scientists mit an Sicherheit grenzender Wahrscheinlichkeit tappen werden. Dabei gilt immer und überall: Die Rate an falsch-positiven ist das extrem wichtige Kriterium für Qualität und sollte deswegen eine entsprechende Rolle einnehmen, wird tatsächlich jedoch meistens nicht einmal am Rande thematisiert.

Aber Sie müssen doch nicht wie ein myxomatoses Kaninchen in die von Ihnen beschriebene Falle tappen!
Häussler: Vielleicht trifft man ja solche Leute in der klinischen Epidemiologie. Ich habe Medizin und Soziologie studiert und kenne niemanden, der solche Zusammenhänge nicht prüft, bevor er sie veröffentlicht. Das ist die Kunst, das ist unsere Profession als Wissenschaftler, auf das, was wir erforschen und ganz besonders auf das, was wir als Ergebnisse finden, kritisch zu blicken und sich immer wieder die Kernfrage zu stellen: Könnte das wirklich sein? Oder: Kann das nicht sein? Dieses mäandernde Vorwärtsbewegen zwischen Wahr und Falsch ist der Kern der Wissenschaft, die geprägt werden sollte von einem gerüttelt‘ Maß an Verblüffung, was man alles in Daten finden kann, wenn man weiß wie.

Antes: Das ist doch der idealtypische Zustand, den Sie da beschreiben.

Häussler: Das passiert bei uns ganz oft.

Antes: Vielleicht in einem idealtypischen Bild von Wissenschaft, aber nicht in der Realität. Wir lesen es doch nahezu täglich in der Zeitung: Schokolade ist gut, Schokolade ist schlecht. Wenn sie halbbitter ist, senkt sie den Blutdruck. All das sind Ergebnisse riesiger Beobachtungsstudien à la Framingham (1). Meist kommen da Artefakte zu Tage, die man schon am nächsten Tag wieder über den Haufen wirft, weil sie voreilig und verantwortungslos aus irgendeinem Effekt heraus interpretiert wurden, den man schon bei der nächsten ernsthaften Untersuchung nicht reproduzieren kann. An manchen Stellen sind das sogar Effekte, die sehr vielen Menschen das Leben kosten. Framingham ist in dieser Gemengelage gerade das Gegenbeispiel. Dort wird jetzt in der dritten Generation seit über sechzig Jahren sehr zielgerichtet aus einer sehr großen Beobachtungsstudie Erkenntnis gesucht. Hochwertige Methodik ist integraler Bestandteil der fortlaufenden Studie, im Gegensatz zu der Blackbox Künstliche Intelligenz, die sehr oft als Methodik für „Big Data“ angegeben wird.

Das ist aber nun nichts „Big Data“-Spezifisches, sondern zeigt lediglich einen falschen, sicher oft zu vorschnellen und allzu sorglosen Umgang mit Studienergebnissen auf. Ist das denn wirklich ein fairer Vorwurf speziell gegen „Big Data“?
Antes: Das ist ein zentraler Vorwurf an die etablierte Wissenschaft, der zurückgeht auf einen der meistzitierten Arbeiten des kürzlich verstorbenen Doug Altman aus dem Jahr 1994: „The Scandal of Poor Medical Research“. In der nicht definierten Welt der „Big Data“ gibt es viele Bestandteile, die noch hinter die Vorwürfe von Doug Altman zurückfallen.

Dennoch: Das ist ein Vorwurf, der erst einmal nichts mit „Big Data“ zu tun hat.
Antes: Doch, hat er. Ich führe den Vorwurf logisch konsequent fort, weil „Big Data“ die gleichen Fehler begeht wie die etablierte Wissenschaft auch, nur leider zwangsläufig in einer noch höheren Potenz.

Herr Häussler, der Vorwurf steht im Raum: Wird es immer mehr „falsch-positive“ Ergebnisse geben?
Häussler: Sie, Herr Antes, haben gerade die Framingham-Studie als eine Quelle für falsche Schlüsse zitiert, weil möglicherweise jemand mit Schokolade einen falschen Zusammenhang herausgefunden hat. Auf der anderen Seite gibt es doch nichts vergleichbar wissenschaftlich Potenteres als diese großen bevölkerungsweiten epidemiologischen Studien, die überhaupt erst in der Lage sind, solche möglichen Zusammenhänge ans Tageslicht treten zu lassen. Durch Framingham und andere derartige Bevölkerungs-Großstudien werden im Laufe der Zeit wahre Schätze gehoben.

Zum Beispiel?
Häussler: Beispielsweise sieht man heute – vor allem dank solcher Studien – die Blutdruckgrenzwerte anders als früher. Womöglich wird man irgendwann genau dadurch die Gründe für zu hohen Blutdruck molekularmedizinisch oder genetisch entschlüsseln können. Dass wir heute 60 Prozent weniger Herzinfarkttote als noch vor 30 Jahren haben, ist vornehmlich Framingham zu verdanken – einer Bevölkerungsstudie, die mit Korrelationen gearbeitet hat. Das dürfen wir uns doch durch teilweise spitzfindige Beispiele über Irrtümer nicht kaputt machen.

Antes: Aus Framingham hat man methodisch extrem ...

Häussler: Genau!

Antes: ... viel gelernt. Das war eine Pionierarbeit in jeder Stunde. Aber auch der finanzielle Aufwand war gigantisch. Dennoch löst das nicht die Probleme, die in Korrelationen an sich stecken. Ich glaube dennoch, in der Grundeinschätzung sind wir uns eigentlich völlig einig. Ich warne davor, wirklich auf der Hut zu sein, damit bei „Big Data“ nicht von vorneherein in die falsche Richtung marschiert wird. Wir wissen doch alle ganz genau, dass hier eine neue Generation forschen wird, die methodisch nicht oder zumindest nicht genügend methodisch geschult ist. Mehr noch: Diese Erkenntnisfallen zu vermeiden, ist keine Frage von Datenmanagement und Informatik, sondern benötigt rigidere und mehr Methodik. Genau hier geht die Tendenz gegenwärtig in die andere Richtung, u.a. leicht zu erkennen, dass Begriffe wie Ergebnisqualität in großen Bereichen praktisch völlig verschwunden sind. Und: Wer kennt denn noch Konfidenzintervalle? Die Grundphilosophie von Entscheidungen in der Medizin ist „in Unsicherheit“. Die Angabe zum Vertrauen in Ergebnisse muss höchste Aufmerksamkeit behalten. Diese Perspektive ist vielfach ersetzt worden durch blinden Glauben an die Ergebnisse von Rechnereien ohne wissenschaftliches Fundament. Wie heißt es so schön bei Anderson? „Big data deluge makes the scientific method obsolete.“ (2)

Häussler: Es ist ganz zwangsläufig so, dass IT-Leute nun einmal qua ihrer Profession einen anderen Zugang zu Wissenschaft und Forschung haben als beispielsweise Epidemiologen. Wir haben hier bei IGES ein Dutzend IT-Leute, aber mehr als sechsmal so viel Wissenschaftler. Beide arbeiten in Teams zusammen, doch lassen wir „Data Scientists“ nicht mit irgendwelchen kruden Korrelationen vor die Wand laufen. So etwas gibt es in seriösen Forschungskontexten einfach nicht. Ich kann mir aber auch nicht vorstellen, dass man in einem universitären Kontext auf einmal Computerspezialisten wissenschaftlichen Content erzeugen lässt. Das wäre doch Nonsens.

Gehen wir doch einmal auf die Ebene Data Scientist versus gut ausgebildeter medizinisch-orientierter Wissenschaftler ein.
Häussler: Es liegt an den Wissenschaftlern, den Data Scientist als Zuarbeiter zu verstehen und die von ihm ausgeworfenen Korrelationen zu veri- und falsifizieren. Wenn der Wissenschaftler das nicht schafft, hat er eines: ein methodisches Problem! Das ist aber gewiss nicht das Problem der Profession Data Scientist, sondern eben jenes der etablierten Wissenschaft.

Antes: Die große Herausforderung wird es darum sein, eine ausgewogene Diskussion von Potenzial, Risiko, Kosten und Investment zu führen. Darum müssen wir bei der zunehmenden Datensintflut namens „Big Data“ endlich beginnen, die Begrifflichkeiten zu sortieren. Die Methodik dahinter ist eigentlich nichts Neues, sondern nur eine Fortführung und Erweiterung der Methodik, die wir seit Jahrzehnten haben.

Die man aber sehr wohl sehr gut kennen und anwenden muss.
Antes: Genau da liegt der Hase im Pfeffer.

Häussler: Es wird auch nicht wahrer, wenn man es immer wieder wiederholt. Ihr Bild von der Datensintflut, um einmal darauf einzugehen, finde ich horribel. Wie kann man denn Daten als Sintflut sehen?

Was sind für Sie Daten?
Häussler: Wenn ich an Daten komme, frage ich zunächst: Was sind das für Daten? Wo kommen sie her? Wie viele sind das? Wie wurden sie geprüft? Taugen sie etwas? Immer her mit der Datenflut, während Sie, Herr Antes, quasi eine Arche Noah bauen und warten, bis die Flut vorbeigeschwappt ist. Wie kann man nur fordern, dass weniger Analysen publiziert werden, damit unsere Bewertungsagenturen nicht so viel Arbeit haben – wie kürzlich auf der Tagung des „Monitor Versorgungsforschung“ geschehen. Vor so viel „German Angst“ gruselt es mir.

Antes: Das ist vornehmlich die Angst von Cristian S. Calude vom Department of Computer Science der Universität Auckland und Giuseppe Longo von der University School of Medicine in Boston, die eine wunderbare Zusammenfassung mit einem Wortspiel im Titel als Antwort auf den 2007er-Artikel geschrieben haben: „The deluge of spurious correlations in big data.“ (3) Diese Diskussion ist in Deutschland nicht ansatzweise bekannt.

Häussler: Ach 2007. Das ist zehn Jahre her, da war gerade das iPhone erfunden worden. Sie, Herr Antes, zitieren ebenso gerne und oft einen Artikel, den Chris Anderson, Chefredakteur eines IT-Szeneblatts namens „Wired“, geschrieben hat und überschrieben war mit: „causality is over, it‘s just data.“ (4) Meine Antwort: Lasst ihn das doch sagen! Es sind doch wir, die die Forschung machen. Wir sind doch nicht so einfältig, dies ohne Theorie und Methoden zu tun. Mit „Big Data“ werden doch nicht auf einmal die Regeln des wissenschaftlichen Arbeitens aus den Angeln gehoben. Wir bleiben bei dem, was wir gelernt haben. Aber: Wir lernen dazu! Mit jedem Tag, mit dem wir uns mit Datenmengen beschäftigen, lernen wir, was es bedeutet, mit wirklich sehr viel mehr Datensätzen umzugehen. Das heißt aber auch, dass wir durch die Vergrößerung der Datensätze andere Programme als bisher benötigen, um große Datenmengen in einer vernünftigen Zeit bearbeiten zu können. Da stößt man schnell an die Grenzen normaler Statistikprogramme, die gar nicht so mächtig sind, wie man gemeinhin denkt, und sieht auf einmal, dass man oft ziemlich lange auf Antworten warten muss. Weil das so ist, verzichtet man vielleicht auf Zusatzfragen, die man aber eigentlich bräuchte, um einen möglichen Irrtum aufzuklären. Das alles führt uns zu modernen „Big-Data“-Containern, die durch maschinenbasierte Statistikvorgänge neu programmiert worden sind, wobei man – übrigens ein interessanter Aspekt für den Datenschutz – immer mehr dazu tendiert, Cluster statt wie bisher das Individuum als Träger der Information zu sehen. Der Trend geht ganz eindeutig zu item-basierten Datensätzen statt zu personen- oder individuenbasierten Datensätzen.

Das sind sicher alles Schritte, die man begreifen und lernen muss.
Häussler: Man kann nur dann Erfahrungen sammeln, wenn man mit großen Datenmengen explorativ tätig sein darf. Genau darum darf man sich das nicht mit dem Argument, dass in diesen Datenschätzen auch Scheinzusammenhänge verborgen sein können und sicher auch sein werden, abschneiden.

Letztlich bleibt doch Wissenschaft Wissenschaft; beiden ist gemeinsam, dass sie Modelle bilden und nutzen.
Häussler: Jetzt sind wir beim Modell der Kausalität, etwas, das wir praktisch nie sinnlich erleben können, weder bei „Big Data“ noch in der etablierten Wissenschaft. Sinnlich erleben könnte man, wenn jemand eine Pistole zieht, auf einen anderen schießt und dieser tot umfällt. Dann haben wir ein Ergebnis mit einem kausalen Zusammenhang. Aber wie sollte man praktisch erleben, dass der Blutdruck von heute etwas mit einer Herzinfarkterkrankung in 20 Jahren zu tun hat? Um diesen Zusammenhang annähernd erfassen zu können, müssen wir uns auf der Ebene von Modellen bewegen. Ich meine, dass es genug intelligente Leute gibt, die in der Lage sind, auch jenseits des RCT mit dem Problem des Bias und des Confoundings umzugehen. Der RCT hilft einem lediglich dabei, den Irrtum so weit es eben geht zu minimieren, aber geht dennoch immer noch von einem Zusammenhang aus, wo vermutlich in Wirklichkeit keiner ist. Das kann in der Tat sehr wichtig sein, vor allem, wenn man Arzneimittel testet. Aber das adelt das Ergebnis nicht mit dem Attribut „kausaler Zusammenhang“. Kausalität ist ein Attribut, das wir aus einer theoretischen Überlegung ableiten, nicht aus einem Testergebnis. Somit können alle Wissenschaftler nach Kausalität suchen, experimentell wie nicht experimentell arbeitende.

Herr Antes, Sie sind da wohl anderer Meinung.
Antes: Sicher. Die Einschätzung ist fundamental falsch.

Häussler: Sie haben eine andere Meinung, sagen wir es doch mal so.

Antes: Nein. Meine Einschätzung ist, dass Ihre Einschätzung falsch ist. Und zwar belegbar falsch. Andersons Artikel war eine provokative Arbeit. Völlig klar. Doch diese wurde aufgegriffen in dem Buch „Big Data“ (5), geschrieben von Viktor Mayer-Schönberger, Professor am Oxford Internet Institute, und Kenneth Cukier, einem amerikanischen Journalisten. Da steht wortwörtlich drin, dass wir Kausalität nicht mehr brauchen, weil die schiere Datenmenge die Korrelation zur Kausalität macht. Bedenklich ist, dass ausgerechnet dieses Werk vom wissenschaftlichen Dienst des Bundestages bei einer Anhörung als einziges Buch zu „Big Data“ zitiert wurde. Damit schwappte dieser fundamentale Fehler in die Politikerköpfe. Genau deswegen hat die Wissenschaft einen so schweren Stand heutzutage.

Sie mahnen jedoch an, Herr Antes, endlich einen methodisch ausgefeilten Ansatz zu entwickeln, mit diesen Daten umzugehen. Das ist eine originäre Aufgabe der Wissenschaft.
Antes: Genau das tue ich.

Sollte man hier nicht eher auf Zusammenarbeit setzen und versuchen, gegenseitig voneinander zu lernen. Sehen Sie Brücken in solchen Teams, die Herr Häussler vorhin ansprach?
Antes: Derlei Brücken gibt es natürlich. Aber darüber läuft auch wieder so mancher Unsinn, wie Apps zum Beispiel.

Wie das?
Antes: Es gibt zum Beispiel eine App, die verspricht, den Tinnitus zumindest dahin positiv beeinflussen zu können, damit daran Leidende wieder besser hören. Doch zeigt eine klinische Studie – in Deutschland gut gemacht –, dass dieses „Heilverfahren“ eben nicht wirkt. Doch marschiert die Kolonne stur gerade weiter und etliche Krankenkassen erstatten diese App auch noch vermehrt.

Häussler: Sie argumentieren völlig chaotisch. Jetzt kommen Sie mit einer Tinnitus-App, die bekanntlich keine „Big-Data“-Applikation ist, sondern lediglich eine Art Medical Device, die auf das Innenohr einwirken soll. Sie sagen vielleicht zu Recht, dass die in der klinischen Studie keinen Nutzen gezeigt hätte. Das mag sein, aber was hat das mit unserem Thema zu tun? Nichts.

Antes: Doch. Alles.

Häussler: Was heißt alles? Die Tinnitus-App hat mit „Big Data“ keinen direkten Zusammenhang. Immer dasselbe Argument: Es gibt niemanden, der durchblickt, die Methoden sind alle falsch und in dem Buch „Big Data“ könnte man alles nachlesen, was falsch läuft. Ich habe das Buch auch gelesen: Da steht total viel Interessantes drin. Also Herr Antes, wenn Sie in dem Buch nichts Interessantes finden, dann verstehe ich nicht, auf welchem Baum Sie sitzen.

Was sagt denn Professor Mayer-Schönberger nun tatsächlich zum Verhältnis von Empirie und Theorie?
Häussler. Ich darf kurz vorlesen, ich habe das Buch ja ganz zufällig dabei. Da steht zum Beispiel: “The age of big data clearly is not without theories – they are present throughout, with all that this entails. Anderson deserves credit for raising the right questions and doing so, characteristically, before others. Big data may not spell the “end of theory”, but it does fundamentally transform the way we make sense of the world.” Wenn man das liest, fände ich es schon wünschenwert, wenn falsches Zitieren einmal aufhören würde.

Antes: Wollen wir über das Buch reden oder über das Interview?

Eine Art Scheingegensatz? Beide handeln doch von „Big Data“.
Häussler: So etwas Ähnliches. Ich finde die Konfrontation von Kausalität und Korrelation ziemlich ermüdend und obendrein irreführend. Das ist ein Scheingegensatz, bei der die gute Kausalität auf der einen Seite steht, die böse Korrelation auf der anderen. Damit verkennen wir sehr schnell, dass auch im guten, alten RCT – gegen das ich gar nichts sagen will – das Ergebnis letztendlich aus einer Korrelation stammt.

Sie sagen nichts gegen RCT?
Häussler: Kausalität ist nicht die Trennlinie zwischen einer – sagen wir mal – RCT-basierten und einer explorativen Forschung, beide arbeiten mit Kausalität, beide versuchen mit ihren Methoden immer näher an die Wahrheit heranzukommen. Doch beide können das nur im Rahmen von Modellen schaffen. Das RCT verspricht uns lediglich, das Möglichste zu tun, um den Irrtum zu minimieren. Das rührt aber nicht an der Frage der Kausalität. Bei vielen Therapien, mit denen wir es bis heute zu tun haben, ist vieles im Fluss, weil man immer wieder neue Erkenntnisse haben wird, die ältere in Frage stellen. Oft genug findet man zu einem späteren Zeitpunkt heraus, dass die Therapie vielleicht gewirkt hat, aber irgendwie wegen etwas anderem, was man sich eigentlich vorgestellt hat. Will heißen: Letztendlich geht es auch bei RCT nicht um Kausalität, sondern um Korrelation.

Um was geht es vordringlich bei „Big Data“?
Häussler: Im Bereich der explorativen Forschung, wie ich es mal bezeichnen will, geht es vordringlich um das Ausweitens unseres Wissensschatzes, etwas zu erkennen, was man vorher noch nicht erkannt hat.

Damit wäre „Big Data“ hypothesengenerierend.
Häussler: Im Sinne von Hypothesen und der Theoriebildung ist „Big Data“ ein wichtiges Instrument.

Ein Beispiel dafür?
Häussler: In der Komorbiditätsforschung hat man lange Zeit unterschätzt, dass Diabetes ein Auslösefaktor für Präeklampsie sein kann oder zumindest eine wesentlich höhere Bedeutung hat, als man bisher angenommen hat. So etwas erkennt man allerdings nicht mit bloßem Auge. Das kann obendrein ein einzelner Arzt gar nicht tun, weil dieser viel zu wenig Patienten sieht, um diesen Zusammenhang zu erkennen. Oder nehmen wir den Zusammenhang zwischen Diabetes und Leberkrebs: Selbst ein Diabetologe behandelt nur so um die 300 Diabetiker im Monat. Bis er dann einmal einen mit Leberkrebs darunter hat, dauert das ewig. Den Zusammenhang konnten wir aber in einem Datenpool von 4 Millionen Patienten fast zufällig beobachten und somit herausfinden, dass Diabetes die Leberkrebswahrscheinlichkeit und die Gabe von Insulin die Leberkrebswahrscheinlichkeit noch stärker erhöht. Diese Erkenntnis, hinter der die Frage steht, ob die Entzündungswirkung des Insulins daran schuld sein könnte, ist für ein Diabetesforschungszentrum eine interessante Information, mit der es weiterforschen kann. Alleine dafür hat es sich schon gelohnt „herumzuwühlen“!

Kann man etwas dagegen sagen?
Antes: Sicher. Das ist nicht „Big Data“. Das ist lediglich etwas, was wir schon immer gemacht haben, nur auf einem technisch höheren Niveau.

Das Ganze jedoch theorielos?
Häussler: Man hat eben nicht immer von vorneherein eine Theorie, die man mit einer Hypothese veri- oder falsifiziert. Das ist vielleicht vergleichbar mit der Analogie eines Naturforschers, dessen Schiff auf einer unbekannten Insel voller Blumen landet, die er noch nie vorher gesehen hat: Das ist Entdeckung! Genau darum geht es mir. Aber auch darum, bei all der nötigen Diskussion um „Big Data“ nicht den Ast abzusägen, auf dem wir entdeckend arbeiten können. Als kleine Fußnote: IGES ist seit seiner Gründung im Jahr 1980 mit diesem Thema beschäftigt. Seitdem machen wir im Grunde genommen „Big Data“. Doch erst seit wenigen Jahren haben wir die Tools, mit denen man wirklich forschend tätig werden kann. Ich traue es mich in Ihrer Anwesenheit gar nicht laut zu sagen, Herr Antes: Wir können heutzutage aus 3,2 Milliarden möglichen Zusammenhänge filtern und kommen mit einer wesentlich größeren Wahrscheinlichkeit und einer Hierarchie von Zusammenhängen – eben Korrelationen – auf ganz neue Zusammenhänge.

Das klingt doch interessant.
Antes: Was die Kausalität angeht, gebe ich Ihnen recht, Herr Häussler. RCT ist ein bloßes Schlagwort. Geplante interventionelle Studie sind nichts anderes als optimierte Verfahren, die kausale Interpretationen zulassen. Doch diese muss ich reproduzieren können, um eine Intervention bewerten zu können. Der fundamentale Unterschied ist der, dass RCT ein prospektives Vorgehen verlangt, während bei „Big Data“ nichts prospektiv geplant ist. Da wird lediglich solange in Daten herumgesucht, bis etwas auftaucht.

Häussler: Stimmt.

Man bekommt demnach durch „Big Data“ die Chance, explorativ auf neue Zusammenhänge zu kommen, die dann im Nachfeld durch andere Studientypen geprüft werden müssten.
Antes: Nein. Der fundamentale Unterschied – den ich auch in einer dreistündigen Anhörung im Bundestagsforschungsausschuss vorgebracht habe – ist, dass volkswirtschaftlich die Gefahr besteht, dass wir uns mit schneller wachsenden falschen Erkenntnissen selbst schaden. Und dafür brauchen wir eine Methodik, die nicht weniger, sondern mehr sein muss.

Gibt es diese ansatzweise irgendwo?
Antes: Zum Beispiel in der Arbeit von Xiao-Li Meng und Xianchao Xie vom Department of Statistics der Harvard Universität: „I Got More Data, My Model is More Refined, but My Estimator is Getting Worse! Am I Just Dumb?“ (6), was frei übersetzt bedeutet: „mehr Daten heißt nicht unbedingt mehr richtige Informationen und Wissen.“ In der ganz neuen Arbeit spricht Meng von „Statistical Paradises in Big Data“ und dem „Law of Large Populations, Big Data Paradox ...“. Es wird höchste Zeit, diese wissenschaftlichen Grundsätze ernst zu nehmen und nicht zu glauben, dass wir sie mit mehr Daten unterpflügen können.

In Deutschland haben wir im Vergleich zu China noch relativ kleine Datenmengen. Wird die Zukunft der Forschung von den Chinesen dominiert, weil die so viele Daten und so große Computer haben und zudem vom Datenschutz nicht ganz so viel halten?
Häussler: Je kleiner der Computer geworden sind, umso besser sind sie geworden. Im Eingang des IGES steht übrigens eine Skulptur eines Berliner Künstlers, der dafür die Platinen von einem „Wang“-Großrechner verwendet hat, den IGES zwischen 1980 und 1988 betrieben hat. Diese Rechenanlage hat das IGES groß werden lassen, obwohl sie nur einen Bruchteil dessen leistete, was heute ein Home-PC kann.

Aber das eben mit immer mehr Daten.
Häussler: Wenn es denn so wäre. Ich bin von 2000 bis 2016 quasi von Pontius zu Pilatus gelaufen und habe vergeblich versucht, Daten für ein Mobilitäts-Morbiditäts-Assoziations-Projekt zu bekommen. Und von der DFG wurde mir gesagt, das sei doch keine Wissenschaft, sondern Scheinkorrelation. Das war der damalige Mainstream, der sich nun ein wenig ändert, vor allem jetzt, wo es von Seiten der Regierung ein bisschen Geld für „Big Data“ gibt. Auf einmal ändern sich auch in der DFG Ansichten. Deshalb, Herr Antes, bin ich so erkennbar ungehalten, weil Ihre Argumente genau denen in die Hände spielen, die das zarte Pflänzchen „explorative Wissenschaft“ ausreissen wollen.

Woher kommen denn Ihre Daten?
Häussler: Wir haben eine Kooperation mit einer Krankenkasse, bei der wir einen Weg gefunden haben, mit deren Daten bestimmte Analysen durchführen zu können. So tasten wir uns ganz, ganz vorsichtig an das eigentlich Mögliche ran. Ich würde mich freuen, wenn es dafür auch ein Forschungsprogramm gäbe oder wenn wir dafür auch Forschungsgelder einwerben dürften. Bisher finanzieren wir alles mit unseren eigenen Mitteln, doch das hat irgendwo seine Grenzen.

Was wäre denn eine Art Methodenkasten, mit dem man mit „Big Data“ umzugehen hat?
Antes: Den kann es nicht geben, weil der Begriff „Big Data“ ein Konglomerat ist. Da muss man schon sehr genau hinschauen, was sich dahinter im Einzelfall eigentlich verbirgt: Assoziationsstudien genetischer Art? Studien mit Populationsdaten? Rein genetische Studien? Alles völlig verschiedene Baustellen. Bei dem einen ist man praktisch im Labor, bei den anderen irgendwie vor Ort bei Sozialwissenschaften. Und wenn es interessieren sollte, ob Schokolade wirklich den Blutdruck beeinflusst, sind Sie wieder auf einer ganz anderen Baustelle.

Gibt es die nötigen Daten?
Häussler: Aber sicher. Wir haben einen tollen Datenschatz durch all die GKV-Daten. Der alleine würde mir schon ausreichen, um auch auf internationaler Ebene stärker auftreten zu können. Ich brauche nicht noch mehr Daten, ich würde jedoch die gerne haben, die bereits existieren. Und dazu ein entsprechendes Funding, weil gute Leute eben auch gutes Geld kosten.

Bräuchten wir einen nationalen Datensatz, an dem dann alle arbeiten können?
Häussler: Wir hätten beim DIMDI einen. Aber der ist zum einen kastriert, da er an verschiedenen Stellen beschnitten ist. Und zum anderen ist er nur mit einem unglaublichen Aufwand bearbeitbar.

Dann werden wir wohl noch eine ganze Menge Begriffs- und Definitions- sowie Aufklärungsarbeit betreiben müssen.
Antes: Daher auch unser gemeinsames Interview, in dem schon sehr viel Gemeinsames wie Gegensätzliches steckt.

Häussler: Ich habe immer noch nicht kapiert, wo wir uns grundsätzlich widersprechen; außer, dass Sie nicht möchten, dass „Big Data“ überhaupt gemacht wird. Ich hingegen möchte, dass wir Raum für Exploration bekommen, während Sie vor einer Welt voller Idioten warnen.

Antes: Mehr Daten heißt eben nicht automatisch mehr Wissen. Wenn Sie glauben, aus ihren Milliarden von Daten irgendwie irgendwelche neue Zusammenhänge entdecken zu können, widerspreche ich der Aussage fundamental. Versuchen Sie, den oben zitierten Kollegen Meng aus Harvard zu verstehen.

Mehr Daten sind nicht zwangsläufig besser, sondern erfordern sozusagen überproportional viel mehr Aufwand, um das Richtige rauszukriegen. Das nennen Sie, Herr Antes, „Trumpisierung der Wissenschaft“.
Antes: Die sprachliche Verrohung, die wir bei Trump sehen, geht einher mit dem Über-Bord-Werfen von über Jahrzehnte entwickelten Standards und Qualitätsmerkmalen. Das wurde u. a. von Nassim Taleb, dem Autor des Buchs „Der schwarze Schwan“, einem Professor in New York für Risiko-Engineering sehr gut beschrieben. Von ihm und anderen – empfehlenswert auch von Tim Hartford – stammt die Aussage: „Big Data gleich Big Error“. Doch diese Diskussion wird in Deutschland nicht geführt.

Kann man das wirklich unterschreiben? „Big Data“ gleich „Big Error“? Es kommt doch immer darauf an, wie man es macht.
Antes: Genau. Einer der Treibsätze dafür ist das Akronym „GAFAM“: Google, Amazon, Facebook, Apple und Microsoft. Diese großen Fünf stehen für einen stark ökonomiegetriebenen Ansatz – unter Vernachlässigung etablierter Wissenschaft. Das Prekäre dabei ist, dass es in der Warenwirtschaft und Werbung anscheinend funktioniert. Bei jeder Informationssuche und vor allem bei jedem Kauf werden Korrelationen genutzt, um zum nächsten anzuregen. , Dem steht entgegen, wie das vollmundige Versprechen von Google namens „Flu Trends scheiterte.

Häussler: Oh je, jetzt kommt das wieder.

Antes: Darf ich das eben ausführen?

Häussler: Ja. Aber ich kenne den Kalauer, so wie wir alle.

Antes: Das ist kein Kalauer, sondern ein Beispiel für einen geradezu epischen Fehler.

Häussler: Aber nur, weil die Leute ihr Suchverhalten geändert haben, das war auch schon alles. Herr Antes, Sie bringen Käse und in Bettlaken Erstickte in einen Zusammenhang, um das Thema lächerlich zu machen. Sie ziehen das Ganze ins Bösartige mit dem Verweis auf Trump, der nun einmal ein fieser Typ ist. Und nun auch noch Google-Flu. Lassen Sie doch dem Unternehmen Google das Recht, damit das E-Commerce verbessern zu versuchen. Wenn das nicht gelingen sollte, werden irgendwann fast zwangsläufig die Aktienkurse abstürzen.

Dem ist aber mit Blick auf die Börse nicht so!
Häussler: Eben. Das System der Korrelationen kann nun einmal Märkte und das Käuferverhalten messerscharf analysieren. Das ist beileibe kein Fake, sondern ein wirklich mächtiges Tool. Irgendwann müssen Sie sich entscheiden, ob das Ganze Quatsch oder ernsthaft, böse oder kommerziell ist. Darum reden wir hier darüber, ob wir „Big Data“ für unsere Wissenschaft brauchen können. Von daher finde ich, dass uns „Trumpisierungen“ nicht weiterbringen. Obwohl ich andererseits natürlich weiß, dass Medien wie die „Süddeutsche Zeitung“ so etwas gerne bringen, weil es so schön polarisiert und vor allem gnadenlos vereinfacht. Damit wird ein Echo bei einer Presse erzeugt, die sich sehr gerne auf solche Aussagen stürzt, nicht zuletzt, weil sie dem notorischen Bias unterliegt, der sich aus der Ökonomie des Skandalisierens ergibt. Genau darum gehen uns damit wissenschaftliche Chancen verloren.
Antes: Die gehen uns nicht dadurch verloren, sondern indem wir Methoden, die im E-Commerce funktionieren, in die Wissenschaft transferieren, anstatt ganz genau zu überlegen, was wir eigentlich damit wollen. Gegen die daraus entstehende schöne neue Welt kämpfe ich.

Häussler: Darum nenne ich das Ganze ja auch „explorative Wissenschaft“. Diese braucht die etablierte medizinische, wissenschaftliche Methodik, wie wir sie immer hatten. Das ist richtig, da hat Herr Antes recht. Doch wenn wir mit vielen Daten arbeiten wollen, werden fast automatisch neue Methoden und Professionen hinzukommen, die wir bisher so nicht hatten. Wir nutzen heute Algorithmen und Auswertungstools, die alle mit Wahrscheinlichkeitsrechnung zu tun haben, und alles basiert auf der Probabilistik, der Wahrscheinlichkeitsaussage. Die Analyse großer Datenmengen ist eben anspruchsvoll, da herrscht kein Zweifel. Aber was heißt denn „überproportional“? Ineffizient? Unwirtschaftlich? Manche Ergebnisse kann man nur aus großen Datenmengen ziehen, andere hingegen bekommt man besser durch einen RCT. Die Methode muss der Frage folgen. Zu suggerieren, dass explorative Methoden pauschal ineffizient oder unwirtschaftlich seien, ist durch nichts gerechtfertigt.

Das nennt man dann Fortschritt.
Häussler: Und den sollten wir uns auch nicht abschneiden lassen.

Das ist doch fast ein versöhnlicher Schluss.
Antes: Das ist aber kein qualitativer Sprung, weil wir zu jeder Sekunde der Entwicklung von Forschung neue Methoden hatten. Jetzt haben wir eben neue dazu bekommen. Dem will ich auch zustimmen, solange wir Nutzen versus Risiko abwägen. Auch in der Methodenentwicklung. Und vor allem in der zentralen Komponente von Wissenschaft: der Qualität!

Häussler: D‘accord. Was nützt es auch, sich zu verweigern? Die größte Datenquelle überhaupt ist noch nicht ansatzweise erschlossen: das Internet mit seinen unendlich vielen Texten. Das wird man eines Tages mit Methoden des „natural language processing“ für noch mehr Analysen nutzbar machen können. Das aber haben heute nur ganz wenige Menschen auf dem Schirm.

Die Herren Professoren, danke für das Gespräch. <<

Das Interview führten MVF-Herausgeber Prof. Dr. Reinhold Roski und MVF-Chefredakteur Peter Stegmaier.

Zitationshinweis: Antes, G., Häussler, B., Roski, R., Stegmaier, P.: „Big Data: zwischen Big Chance und Big Error“, in „Monitor Versorgungsforschung“ (05/18), S. 6-13; doi: 10.24945/MVF.05.18.1866-0533.2093