Ist die Zwischenfinanzierung die „echte Evaluation“?

http://doi.org/10.24945/MVF.06.19.1866-0533.2185

>> Zur Zeit werde das Förderprogramm an mehreren Stellen weiterentwickelt. „Ob das jetzt immer positiv ist, das möchte ich den Betrachtern überlassen“, erklärte Pfaff, der in seiner Funktion als Vorsitzender des Innovationsfonds-Expertenbeirats einen weit tieferen Einblick als die meisten in die Struktur und das Procedere des Fonds hat. Dies jedoch nicht mehr lange: Ab dem nächsten Jahr wird es keinen Expertenbeirat, besetzt aus Mitgliedern aus Wissenschaft und Versorgungspraxis und bestellt vom BMG, mehr geben. Was man nach Pfaff so höre, solle künftig in einem noch zu bildenden Expertenpool, für jeweils zwei Jahre besetzt vom Innovationsausschuss, die Versorgungspraxis eine stärkere Rolle als bisher spielen. Pfaff: „Damit wird die Macht des Innovationsausschusses steigen.“
Die künftigen Pool-Experten, die von der Geschäftsstelle des Innovationsausschusses nach ihrer wissenschaftlichen und versorgungspraktischen Expertise mit einer Kurzbegutachtung beauftragt werden können, sind wie bisher auch ehrenamtlich tätig, dürfen aber im Zeitraum ihrer Benennung keine Anträge auf Förderung durch den Innovationsfonds stellen und auch nicht an einer Antragsstellung beteiligt sein. Für Pfaff stellt sich hier die Frage, wer sich unter diesem Aspekt denn künftig bereit erklären würde, in einem solchen Experten-Pool mitzumachen. Seiner Meinung nach wären das wohl weniger Wissenschaftler, meist angewiesen auf Drittmitteleinwerbung, sondern Kassenmanager mit versorgungspraktischer Expertise. Damit wird der Einfluss der Wissenschaft auf den Innovationsfonds sinken. Auf den Vorschlag des bis Ende dieses Jahres amtierenden Expertenbeirats, wenigstens wie beim BMBF eine Gutachtersitzung zu etablieren, an der auch jene beteiligt sind, die früher schon an konkreten Anträgen beteiligt waren, wäre keine Reaktion gekommen. Wie es derzeit aussieht, könne aus diesem Pool der Arbeitsausschuss, der das eigentliche Gremium des Innovationsfonds sei, Experten für Gutachten im Rahmen der Konsultation der einzelnen Projekte zusätzlich hinzuziehen. „Was ich gehört habe, werden sie das systematisch tun, damit sie kein rechtliches Problem bekommen“, erzählte Pfaff den zahlreichen Zuhörern der DKVF-Sitzung. Das Problem dabei: Die durch die Pool-Experten erteilten Empfehlungen sind zwar in die Beschlussfassung einzubeziehen, jedoch müsse der Ausschuss nicht mehr wie bisher begründen, weshalb er von der Expertenmeinung abweicht.
Ein weitere Detailregelung betrifft eine Formsache: Bei den Neuen Versorgungsformen werden Anträge künftig nur noch zweistufig eingereicht, was nach Pfaffs Ansicht „mit Sicherheit zu einer Aufweichung der Taktung“ führen wird.
Der wichtigste Punkt von allen sei aber die Überführung in die Regelversorgung und damit auch die Frage: „Was passiert eigentlich mit den bisher geförderten Projekten?“ Zwar hat der Gesetzgeber festgeschrieben, dass bei Projekten der Neuen Versorgungsformen der Innovationsausschuss innerhalb von drei Monaten eine Empfehlung beschließen muss, ob die betreffende neue Versorgungsform in die Regelversorgung überführt werden soll. „Das finde ich sportlich“, meinte Pfaff, der darauf hinwies, dass Analysen bisheriger G-BA-Beschlüsse gezeigt hätten, dass der Bundesausschuss zum Teil sieben Jahre benötigt hätte.

Wann endet eigentlich ein Projekt?

Zudem sei auch zu beachten, dass die Beschlüsse des Innovationsausschuss einen konkreten Vorschlag enthalten müssen, wie die Überführung in die Regelversorgung erfolgen solle. Falls sich hier der G-BA für zuständig für eine Neue Versorgungsform erklärt, muss der entsprechende Umsetzungsbeschluss innerhalb eines Jahres erfolgen. Hier wies Pfaff auf noch auf andere unge-löste Fragen hin: „Wann endet eigentlich ein Projekt?“, „Mit dem Ende der Bezahlung?“, „Wenn die letzten Verträge der Mitarbeiter ausgelaufen sind?“. Oder: „Wenn der Evalua-tionsbericht vorliegt?“ Pfaff: „Das ist alles noch unklar.“ Ebenso die Frage, ob man sich als evaluierender Wissenschaftler überhaupt auf Zwischenevaluation einlassen soll oder darf. Der Grund: Mit zu diesem Zeitpunkt meist unvollständigen Daten und oft zu geringer statistischer Power könnten erste Entscheidungen getroffen werden, wie oder ob ein Projekt später in die Regelversorgung kommen wird oder nicht.
Doch das tun im Zweifel schon die Kassen selbst. Und zwar gleich nach dem Auslaufen der Förderung und damit noch sehr weit vor dem Zeitpunkt des Vorliegens der Endevalua-tion. Dies geschieht alleine schon dadurch, ob eine oder mehrere Kassen, die innerhalb eines Innovationsprojekts aktiv sind, bereit sind, dieses nach dem offiziellen Förderende in eine Zwischen- oder Überbrückungsfinanzierung zu überführen. Wenn die beteiligten Kassen nicht zwischenfinanzieren, sei – so Pfaff – praktisch schon der Beleg erbracht, dass die Kassen das betreffende Projekt gar nicht wollen.

Vorsicht bei Zwischenevaluationen

Damit könnte nach Pfaffs Ansicht für viele schon der Beweis erbracht sein, dass niemand das Projekt will, egal, ob es später einen signifikanten Effekt gibt oder nicht. Pfaff: „So gesehen ist die Zwischen- oder Überbrückungsfinanzierung die Nagelprobe.“ Darauf werde, gab sich Pfaff sicher, der G-BA und der Innovationsausschuss achten. Was nichts anderes heiße, als dass schon mit dem Akt der Zwischenfinanzierung die „echte Evaluation“ stattfindet. „Das ist eine andere Art von Evaluation als die, die wir aus der Wissenschaft kennen, denn das ist eine rein subjektive Evaluation.“ Und eine politische dazu. Darum müsste man, wenn tatsächlich eine Zwischenevaluation verlangt werde, darauf achten, dies nur dann zu tun, wenn die Datenlage gut genug ist.
Zudem sei die Frage, welche Outcomes überhaupt als Kriterium in die Evaluationen aufgenommen werden: Der primäre Outcome, auf den die Power ausgerichtet ist, oder der sekundäre, weil hier die Effekte deutlicher ausfallen? Diese „switched Outcomes“ seien ein ganz schwieriges Thema, meinte Pfaff, nach dessen Meinung es stark darauf ankomme, wie rigide (oder wie wissenschaftlich) man vorgehen möchte und welches Evidenzniveau jenseits von 1A, das es in der Versorgungsforschung praktisch nicht gebe, letztlich akzeptiert wird. Erschwerend komme hinzu, dass viele Projekte nicht mal ein ordentliches Studienprotokoll führen würden, was ebenso kritisch zu sehen sei.
All das regelt aber noch nicht das, auf was es eigentlich ankommt. Das ist die Frage, wie ein von der Kasse im Zuge der Zwischenfinanzierung positiv beschiedenes oder im besten Falle von der Wissenschaft nach harten Kriterien positiv evaluiertes Projekt in die Regelversorgung überführt werden kann.
Und von wem? Denn gesetzt den besten Fall, dass der Innovationsausschuss innerhalb von nur drei Monaten eine entsprechende Umsetzungsempfehlung ausspricht und zudem der G-BA innerhalb von zwölf Monaten einen Umsetzungsbeschluss fasst, sind das 15 Monate, in denen absolut unklar ist, wie die Projektmitarbeiter mit dem bei ihnen akkumulierten Know-how weiterfinanziert werden. „Das sind die Menschen, die wissen, wie es wirklich geht“, erklärte Pfaff, während alle anderen nur eine Publikation oder Zwischen- oder Abschlussbericht lesen können, in dem wahrscheinlich kein einziges Wort über das für die anstehende Translations-aufgabe nötige, konkrete und umsetzungsrelevante Wissen geschrieben stehen wird. Pfaff: „Dabei sind all die Menschen, die mit den neuen Versorgungsstrukturen gearbeitet haben, so wichtig, aber ebenso die Evaluatoren und jene, die das Management-Know-how haben und die wissen, wo etwas im Prozess schief lief oder warum etwas funktionierte“. Dieses angesammelte Know-how sei enorm wichtig und müsse unbedingt weitergegeben werden. Wenn das nicht geschehe, würde viel an Know-how verloren gehen, was nach Pfaffs Ansicht ein absoluter Verlust wäre.
Diese Menschen wissen aber auch etwas, was in keiner Evaluation geschrieben stehen wird: Mit welcher Mühe und Expertise solch komplexe Versorgungsprozesse aufgesetzt werden müssen. Pfaff sprach hier davon, dass die Frage, ob eine Maschine gute Produkte herstelle, eine ganz andere Frage als jene sei, ob das Ergebnis positiv evaluiert worden sei. Hier sei es absolut ungeklärt, wann ein „Cut-off“ richtiger wäre, statt sich mit Konsortial- und/oder Umsetzungspartnern aufzureiben. Oder – was in nicht wenigen Projekten der Fall sein wird – wann eingestanden werden muss, dass die Rekrutierung eben nicht erfolgreich gewesen ist und darum die statistische Power wohl nie stimmen wird. Das Problem dabei: Es wurde weder vom Gesetzgeber, noch in der Verfahrensordnung festgelegt, ab welchem „Cut-off“-Punkt ein Abbruch zwanghaft geschehen muss. Was im Umkehrschluss aber auch bedeutet, dass entweder die Geschäftsstelle oder der Projekträger (DLR) des Innovationsfonds die entsprechenden Projekte schon während der Laufzeit hätte stoppen müssen.
In der anschließenden Podiumsdiskussion meldeten sich viele Versorgungsforscher, unter anderen auch Priv.-Doz. Dr. Kurt Bestehorn zu Wort, der auf dem DKVF vor zwei Jahren eine Session zum Innovationsfonds geleitet hatte. Er gab zu Protokoll, dass seiner Erinnerung nach damals rund 30 Prozent der bereits genehmigten (!) Anträge vom rein wissenschaftlichen Standpunkt aus gar nicht durchführbar gewesen wären.
„Das sind letztlich alles Ermessensentscheidungen“, erklärte Pfaff, aber schluss-endlich eben auch wissenschaftliche. Denn aus Sicht der reinen Wissenschaft muss ein Projekt gestoppt werden, dessen statistische Power nicht erreicht worden ist. Während es aber sicher auch intersubjektive Entscheidungen in den jeweiligen Projektgremien geben werde, wie man zu entsprechenden
Power-Nachberechnungen kommen kann.
Pfaffs dringliche Mahnung an die beim DKVF versammelte Wissenschafts-Community: „Irgendwann wird es um die Frage gehen, wie weit die Wissenschaft bereit ist mitzugehen.“ Nicht zu weit hoffentlich, denn eines darf die noch relativ junge Wissenschaftsrichtung der Versorgungsforschung auf keinen Fall riskieren: Durch lasche Evaluationen ihr mit harter Arbeit erworbenes Renommee auf Spiel zu setzen! <<
von: MVF-Chefredakteur Peter Stegmaier

Zitationshinweis:

Stegmaier, P.: „Ist die Zwischenfinanzierung die echte Evaluation?“ (06/19), S. 22-24, doi: 10.24945/MVF.06.19.1866-0533.2185