Die Kunst der „Evaluation komplexer Interventionen“
doi: http://doi.org/ 10.24945/MVF.02.21.1866-0533.2294
>> Bei Innovationsfondsprojekten im Bereich der Neuen Versorgungsformen – wie zum Beispiel die „Strukturmigration im Mittelbereich Templin“, kurz IGiB-StimMT – handelt es sich oftmals um komplexe Interventionen. Diese werden, so Kerkemeyer, meist einfachen Interventionen gegenüber-gestellt, wobei ihrer Aussage nach hier festgehalten werden sollte, dass eine scharfe Trennung beider Begrifflichkeiten äußerst schwierig ist. Die Literatur definiert nach Worten der inav-Gesundheitsökonomin eine Intervention dann als komplex, wenn sie eine oder mehrere der folgenden Merkmale erfüllt:
• eine Vielzahl interagierender Komponenten.
• eine hohe Anzahl involvierter Patientengruppen, Leistungserbringer, Organisation oder weiterer Akteure unterschiedlicher sozialer, wirtschaftlicher, kultureller, ökologischer oder politischer Kontexte und Settings.
• Interdisziplinarität und Multisektoralität.
• Mehrere Indikationen mit entsprechend intendierten Outcomes.
• Lernfähigkeit und Anpassungsvermögen der Intervention durch Rückkopplungs- bzw. Feedback-Schleifen.
• Und/oder Beeinträchtigung der Wirksamkeit der Intervention durch das Verhalten derjenigen, die die Intervention erbringen bzw. erhalten.
Komplexität sei aber nicht unbedingt ein Charakteristikum der Intervention selbst. Komplex könne, so Kerkemeyer, zum Beispiel auch das Setting sein, in dem eine Intervention implementiert werden soll. Komplexe Interventionen bestünden zudem aus mehreren Einzelkomponenten, die sich wechselseitig bedingen. Das Medical Research Council, das auch die vorangegangene Definition aufgestellt hat, hat ein Phasenmodell zur Entwicklung und Evaluation von komplexen Interventionen vorgeschlagen. Dieses Modell lässt sich mit dem PDCA-Zyklus (Plan, Do, Check, Act) vergleichen und beschreiben. Erst wird eine Entwicklung gestartet, dann folgt eine Pilotphase, beendet von einer umfassenden Evaluation, die ein Reporting beinhaltet, nach dem die als erfolgreich erkannten Ergebnisse implementiert werden sollen.
Laut Kerkemeyer stelle sich hier die Frage, mit welchen Instrumenten komplexe Interventionen evaluiert werden sollen. Dies können aus diversen Gründen meist keine randomisierten kontrollierten Studien, kurz RCT, sein, die als Goldstandard bei der Evaluation einfacher Interventionen gelten. Im Zuge der Evaluation komplexer Interventionen müsse Kerkemeyers Worten zufolge ein Umdenken stattfinden. Das habe auch damit zu tun, dass Evaluationen in der Vergangenheit primär dem Nachweis von Wirksamkeit gedient haben. Mittlerweile rücke jedoch immer stärker in den Fokus, dass Evaluationen ein „bedeutend größeres Spektrum aufweisen als reine Wirksamkeitsbeurteilungen“. So trete vermehrt anstelle des Beweisens der ursprüngliche Evaluationszweck des Lernens in den Vordergrund des Evaluationsinteresses. Der Grund dafür sei, dass das Verstehen von Veränderungsprozessen mitunter einen viel größeren Benefit produzieren könne als reine Wirksamkeitsbeweise mit bisweilen nur geringen Effektstärken.
Bei der Evaluation komplexer Interventionen werde darum oft ein Mixed-Methods-Design angewandt, wobei der Begriff der „Mixed Methods“ als Überbegriff für verschiedene Konzepte der Methodenkombination verwendet werde. Kerkemeyer: „Demnach kann Mixed Methods bedeuten, dass die Kombination qualitativer und quantitativer Analyseschritte bereits in der Methodik fest konzipiert ist. Oder auch, dass für eine Fragestellung in verschiedenen Untersuchungsphasen unterschiedliche, also qualitative und/oder quantitative Methodenansätze verfolgt werden.“ Und bei der Verknüpfung quantitativer und qualitativer Forschungsmethoden könnten wiederum Integrations- und Kombinationsmodelle umgesetzt werden. Hier würde man zwischen Vorstudien-, Verallgemeinerungs- und Vertiefungsmodellen unterscheiden.
Die Evaluation komplexer Interventio-nen könne nun eine Kombination aus einer Dachevaluation und/oder komponentenspezifischen Einzelevaluationen sein. Zudem sollten Ergebnis-, Prozess- und ge-
sundheitsökonomische Evaluation oder mindestens einzelne Teile in jedem Fall in der Evaluation komplexer Interventionen berücksichtigt werden:
• Ergebnisevaluation meint den Vergleich zwischen postuliertem Ziel und dem letztlich erreichten Zielzustand zum Beispiel Prä-Post-Vergleich, Soll-Ist-Vergleich, Gruppenvergleiche.
• Die Prozessevaluation beschreibt die Veränderung von Prozessen und Strukturen wie zum Beispiel Barrieren und Schwierigkeiten bei der Umsetzung, Implementierungsfehler, aber auch wie und wann die Umsetzung erreicht wurde.
• Die gesundheitsökonomische Evaluation fokussiert die Identifizierung und Quantifizierung von Kosten und Nutzen.
Vor allem aber erfordere, da ist sich Kerkemeyer absolut sicher, die Evaluation komplexer Interventionen „ein Umdenken und Kreativität“.
Wie sieht nun das Evaluationskonzept
genau aus, das bei IGiB-StimMT angewandt wurde? Das erklärten Michelle Kutscher und Manuel Recker, beide Wissenschaftliche Mitarbeiter bei dem mit der Evaluaton beauftragten Institut für angewandte Versorgungsforschung (inav) in Berlin.
In einem nahezu einzigartigen Setting und Kontext wie bei IGiB StimMT sei laut Kutscher eine standardisierte Evaluation nicht ohne Weiteres möglich. Kutscher: „Je komplexer, vielschichtiger und dynamischer eine Intervention ist, desto höher sind auch die Anforderungen an den Evaluationsansatz.“ Daher wählte inav für die Evaluation der hier vorliegenden komplexen Intervention den bereits genannten Mixed-Methods-Ansatz mit einer Kombination aus qualitativen und quantitativen Methoden.
Die Evaluation von IGiB StimMT basiert dabei auf drei Säulen:
• Die erste Säule bildet die Struktur- und Prozessanalyse. Hierzu zählten die Strukturdatenerhebung, die Zufriedenheitsbefragung der Leistungserbringer, die Stakeholderbefragung sowie die teilnehmende Beobachtung.
• Die zweite Säule bildet die gesundheitsökonomische Evaluation. Hier werde eine Effektivitätsanalyse und eine Kostenanalyse durchgeführt, die mithilfe von Routinedaten der gesetzlichen Krankenversicherung und der Kassenärztlichen Vereinigung gerechnet würden.
• Die dritte Säule bildet die Ergebnisevaluation einzelner Versorgungsmodule. Hierzu zähle ein Effekt der Evaluation der Behandlungspfade sowie des strukturierten Behandlungsprogramms Harninkontinenz mittels des Einsatzes von Fragebögen.
Um zu zeigen, wie eine derartige Evaluation aussehen kann, präsentierten Kutscher und Recker erste Ergebnisse der Teilprojekte Koordinierungs- und Beratungszentrum (KBZ), der Ärztlichen Bereitschaftsdienstpraxis (ÄBP) und der Decision Unit (DU), die mithilfe von Strukturdaten quantitativ analysiert worden sind. Die Strukturdatenerhebung sei wiederum im Sinne einer Beobachtung bzw. Querschnittstudie erfolgt, wobei die verschiedenen Zielparameter für die Strukturdatenanalyse aus unterschiedlichen Datenquellen ermittelt wurden. Einerseits seien die Daten im Projekt separat dokumentiert, andererseits aus den Abrechnungsdaten der Kassenärztlichen Vereinigung Brandenburg, aus dem Krankenhaus Informationssystem des Sana Krankenhauses Templin und aus der Dokumentationssoftware des KBZ gezogen worden.
Die Strukturdatenanalyse diente nach Worten Kutschers dazu, die tatsächliche Inanspruchnahme der neuen Versorgungsbestandteile und -strukturen von IGiB StimMT durch die im Interventionsbereich angesiedelte Wohnbevölkerung in Templin abzubilden. Die Analyse anhand quantitativ erhobener Daten hätte Aussagen über den Implementierungsgrad der Versorgungsangebote ermöglicht. Dazu wurden die Strukturdaten übergreifend über die verschiedenen Versorgungsmodule zunächst in einen Soll-Ist-Abgleich eingebracht. Durch die Subtraktion des Soll-Werts vom Ist-Wert würde sich eine Differenz ergeben, die eine Beurteilung des Erfolges ermögliche und Hinweise darauf liefern könne, ob in bestimmten Bereichen gegebenenfalls ein Umsteuern bzw. Neujustieren des jeweiligen Interventionsbestandteils erforderlich sei.
Neben der Strukturdatenerhebung fließen in die Evaluation der Versorgungsmodule jedoch auch andere Daten ein, wie etwa jene aus der Stakeholderbefragung sowie der teilnehmenden Beobachtung. Bei IGiB StimMT sei die Stakeholderbefragung mittels leitfadengestützter Interviews zu zwei Zeitpunkten – zu Beginn und zum Ende des Projektes – durchgeführt worden. Dazu hätten verschiedene Multiplikatoren aus dem Mittelbereich Templin wie beispielsweise der Bürgermeister, aber auch Vertreter der ambulanten Haus- und Fachärzte und der ambulanten Pflegedienste gehört. <<
von:
MVF-Chefredakteur Peter Stegmaier
Zitationshinweis: Stegmaier, P.: „Die Kunst der Evaluation komplexer Interventionen“, in „Monitor Versorgungsforschung“ (02/21), S. 38-39. doi: http://doi.org/10.24945/MVF.02.21.1866-0533.2294
Über IGiB-StimMT
Das Projektvorhaben Strukturmigration im Mittelbereich Templin, kurz StimMT, ist ein Projekt der IGiB GbR (AOK Nordost, BARMER, KV Brandenburg) und der Sana Kliniken Berlin-Brandenburg GmbH. Zur Umsetzung des Projektes wurde die IGiB-StimMT gGmbH gegründet. Die IGiB-StimMT gGmbH und die weiteren Konsortialpartner (Sana Kliniken Berlin-Brandenburg GmbH, AOK Nordost, BARMER, KV Brandenburg sowie die KV COMM GmbH, AGENON GmbH und inav GmbH) hatten zum Ziel, die regionalen Versorgungsstrukturen und -prozesse im Mittelbereich Templin bedarfsorientiert und regionalspezifisch auf die veränderten Bedingungen des demografischen Wandels auf den Weg zu bringen. Dazu entstand am Standort des heutigen Krankenhauses Templin ein Ambulant Stationäres Zentrum (ASZ) Templin, begleitet von einem Um- und Neubau. Von 2017 bis Ende 2020 wurde das Projekt aus dem Innovationsfonds gefördert.
