Sie sind hier: Startseite › Abstracts › Kurzfassungen 2021 › MVF 02/21 › Bewerten, aber wie? – Kriterien für die Evaluation und das Reporting von Studien zu Gesundheits- und Medizin-Apps
x
Um unsere Webseite für Sie optimal zu gestalten und fortlaufend verbessern zu können, verwenden wir Cookies. Durch die weitere Nutzung der Webseite stimmen Sie der Verwendung von Cookies zu. Weitere Informationen zu Cookies erhalten Sie in unserer Datenschutzerklärung.

Bewerten, aber wie? – Kriterien für die Evaluation und das Reporting von Studien zu Gesundheits- und Medizin-Apps

30.03.2021 15:00
Mit der Digitalisierung im Gesundheitswesen sind große Erwartungen an die Qualitätssteigerung der gesundheitlichen Versorgung geknüpft (Mathews et al., 2019), dies gilt besonders für Diagnostik, Prävention sowie für das Management chronischer Krankheiten (Gordon, Landman, Zhang & Bates, 2020). Gesundheits- und Medizin-Apps (GuMA) werden aufgrund der ubiquitären Verfügbarkeit von Smartphones in der Bevölkerung eine besondere Rolle zugesprochen. Jedoch besteht seit längerem eine breite Diskussion hinsichtlich der noch eingeschränkten Evidenz von GuMA, welche in verschiedenen systematischen Übersichtsarbeiten als heterogen eingeschätzt wird (Agarwal, Lefevre & Labrique, 2017; Felix et al., 2018; Mathews et al., 2019). In einem systematischen Review von Bayambasuren et al. recherchierten die Autoren nach systematischen Reviews über randomisiert kontrollierte Studien (RCT) mit verschreibungsfähigen (Prescribable) GuMAs, die zum Download frei verfügbar waren (Byambasuren, Sanders, Beller & Glasziou, 2018). Verschreibungsfähige Apps definieren die Autoren als Apps, die derzeit verfügbar sind, die effektiv sind und die alleinstehend (stand-alone), ohne die Einbindung von Professionellen im Gesundheitswesen angewendet werden. Die Autoren schlossen insgesamt sechs systematische Reviews in ihre Analyse ein, aus denen sie wiederum 23 RCTs zu 22 unterschiedliche GuMAs extrahierten. In lediglich 11 dieser 23 RCTs konnte ein aussagekräftiger Effekt auf die Gesundheit oder auf ausgewählte Surrogatendpunkte nachgewiesen werden, die möglicherweise auf eine GuMA zurückzuführen waren. In der Gesamtbetrachtung war der Nachweis der Wirksamkeit jedoch von eingeschränkter Qualität, was gerade die Verschreibungsfähigkeit dieser Apps für Ärzte deutlich erschwert (Mathews et al., 2019). Ebenfalls monierten die Autoren sowohl bei den sechs eingeschlossenen systematischen Reviews als auch bei den 23 extrahierten RCTs ein hohes Risk of Bias, was ebenfalls zu einer Einschränkung der Ergebnisse beiträgt. Gleichermaßen finden sich in verschiedenen Anwendungsbereichen positive Ergebnisse hinsichtlich der Effektivität. Dies lässt sich etwa für das Selbstmanagement der Hypertonie (Li, Liang, Bu & Hesketh, 2020) oder das Selbstmanagement psychischer Krankheiten konstatieren (Linardon, Cuijpers, Carlbring, Messer & Fuller-Tyszkiewicz, 2019).
Bewerten, aber wie? – Kriterien für die Evaluation und das Reporting von Studien zu Gesundheits- und Medizin-Apps

Sven Kernebeck MSc PH

doi: http://doi.org/10.24945/MVF.02.21.1866-0533.2300

PDF

Abstract

Hintergrund: Ähnlich der wenig qualitätsgesicherten Leitlinien Ende der 90er Jahre erlebt das deutsche Gesundheitssystem vor dem Hintergrund der Digitalisierung erneut eine Inflation an wenig qualitätsgesicherten Publikationen von digitalen Anwendungen. Vor diesem Hintergrund wird vielerorts eine schwache Evidenz von Gesundheits- und Medizin-Apps moniert. Um die Qualität von Studien und die Transparenz bei der Berichterstattung von Studien als Leistungserbringer und Anwendern einschätzen zu können, bedarf es gerade für Ärzte als auch Wissenschaftler einheitlicher Kriterien.
Methodik: Im September 2019 und ergänzend im Februar 2020 wurde eine Literaturrecherche in PubMed sowie Google Scholar durchgeführt. Gesucht wurden Frameworks und Reporting Guidelines, die bei Evaluationen zu Gesundheits- und Medizin-Apps angewendet werden können. Als Vergleichskriterien wurden Framework, Phasen/Items, Methodik und Fokus gegenübergestellt und explorativ ausgewertet.
Ergebnis: Es wurden sieben Publikationen zu Frameworks und Reporting Guidelines eingeschlossen. Diese unterscheiden sich in dem intendierten Fokus und dem Umfang sowie dem Inhalt der Bewertungskriterien. Die Frameworks und Reporting Guidelines adressieren Studien, die mit Gesundheits- und Medizin-Apps durchgeführt werden, wie z. B. das Mobile Health Evidence Reporting and Assessment (mERA) sowie den sog. DiGA-Leitfaden für das Fast-Track-Verfahren für digitale Gesundheitsanwendungen. Zudem sind methodenbezogene Reporting Guidelines hervorzuheben, welche primär einen methodischen Fokus auf die Anwendung legen, bspw. bei randomisiert kontrollierten Studien.
Schlussfolgerung: Angesichts der in dieser Arbeit dargestellten Optionen von Standards in der Berichterstattung von digitalen Anwendungen konnte der vom BfArM vorgestellte Leitfaden um weitere Items erweitert werden, um Leistungserbringern und Anwendern mehr Sicherheit zu geben und gleichzeitig Abstriche im Qualitätsanspruch zu verhindern.

Evaluate and Report, but how? – Criteria for evaluation and reporting of studies on health and medical apps

Background: The quality of reporting of study results in the field of digital health is currently heterogeneous and in several cases poor and incomplete. Against this background, weak evidence of health and medical apps is criticized in many places. In order to be able to assess the quality of studies and the transparency in reporting studies as health care providers and users, uniform criteria are needed, especially for physicians as well as scientists.
Methods: A literature search was conducted in PubMed as well as Google Scholar in September 2019 and supplementally in February 2020. Frameworks and Reporting Guidelines that can be applied to evaluations of health and medical apps were included. Framework, phases/items, methodology, and focus were compared and exploratively evaluated as comparison criteria.
Results: Seven publications on frameworks and reporting guidelines were included. These differ in the intended focus and the scope and content of the evaluation criteria. The frameworks and reporting guidelines address studies conducted with health and medical apps, such as the Mobile Health Evidence Reporting and Assessment (mERA) and the so-called DiGA guide for the fast-track process for digital health apps. In addition, method-related reporting guidelines should be highlighted, which primarily place a methodological focus on the application, e.g., randomized controlled trials such as the Consolidated Standards of Reporting Trials of Electronic and Mobile Health Applications and onLine TeleHealth (CONSORT-EHEALTH).
Conclusion: In view of the options for standards in the reporting of digital applications presented in this paper, the guideline presented by the BfArM could be expanded to include additional items in order to provide healthcare providers and users with more certainty and at the same time prevent compromises in quality standards.

Keywords
Digital Health, Health Apps, eHealth, mHealth, Evaluation

Sven Kernebeck MSc PH / Dr. Ursula Kramer / Dr. med. Marcus Redaelli /
Prof. Dr. med. Horst Christian Vollmar MPH

Literatur
Abbey, E., Maiken, H., Camilla, V., Lyngsie, H., Lisa, Utoft, N., Carsten, Kirsten, B., & Helle, P. (2018). Cocreated Smartphone App to Improve the Quality of Life of Adolescents and Young Adults with Cancer (Kræftværket): Protocol for a Quantitative and Qualitative Evaluation. JMIR Res Protoc, 7(5), e10098. doi: 10.2196/10098
Adu, M. D., Malabu, U. H., Callander, E. J., Malau-Aduli, A. E., & Malau-Aduli, B. S. (2018). Considerations for the Development of Mobile Phone Apps to Support Diabetes Self-Management: Systematic Review. JMIR MHealth and UHealth, 6(6), e10115. doi: 10.2196/10115
Agarwal, S., Lefevre, A. E., & Labrique, A. B. (2017). A Call to Digital Health Practitioners: New Guidelines Can Help Improve the Quality of Digital Health Evidence. JMIR MHealth and UHealth, 5(10), e136. doi: 10.2196/mhealth.6640
Agarwal, S., LeFevre, A. E., Lee, J., L’Engle, K., Mehl, G., Sinha, C., … Group, W. mHealth T. E. R. (2016). Guidelines for reporting of health interventions using mobile phones: mobile health (mHealth) evidence reporting and assessment (mERA) checklist. BMJ, 352, i1174. doi: 10.1136/bmj.i1174
Ahmadiankalati, M., Steins-Loeber, S., & Paslakis, G. (2020). Review of Randomized Controlled Trials Using e-Health Interventions for Patients With Eating Disorders. Frontiers in Psychiatry, 11, 568. doi: 10.3389/fpsyt.2020.00568
Allner, R., Wilfling, D., Kidholm, K., & Steinhäuser, J. (2019). Telemedizinprojekte im ländlichen Raum Deutschlands. Eine systematische Bewertung mit dem „Modell zur Evaluation von telemedizinischen Anwendungen“. Zeitschrift Für Evidenz, Fortbildung Und Qualität Im Gesundheitswesen, 141–142, 89–95. doi: 10.1016/j.zefq.2019.03.005
Ann, M., Sarah, N, R., Thomas, C, K., Abby, D, G., Christopher, & Sutton,Stephen. (2016). IDEAS (Integrate, Design, Assess, and Share): A Framework and Toolkit of Strategies for the Development of More Effective Digital Interventions to Change Health Behavior. J Med Internet Res, 18(12), e317. doi: 10.2196/jmir.5927
BfArM (2020a) Bundesinstitut für Arzneimittel und Medizinprodukte. Digitale Gesundheitsanwendungen. In https://www.bfarm.de/DE/Medizinprodukte/DVG/_node.html (Abgerufen am 20.05.2020)
BfArM. (2020b). Das Fast-Track-Verfahren für digitale Gesundheitsanwendungen (DiGA) nach § 139e SGB V. Ein Leitfaden für Hersteller, Leistungserbringer und Anwender. In https://www.bfarm.de/DE/Medizinprodukte/DVG/_node.html (Abgerufen am 20.05.2020)
Byambasuren, O., Sanders, S., Beller, E., & Glasziou, P. (2018). Prescribable mHealth apps identified from an overview of systematic reviews. Npj Digital Medicine, 1(1), 12. doi: 10.1038/s41746-018-0021-9
Collins, L. (2018). Optimization of Behavioral, Biobehavioral, and Biomedical Interventions: The Multiphase Optimization Strategy (MOST). Springer International Publishing.
Craig, P., Dieppe, P., Macintyre, S., Michie, S., Nazareth, I., & Petticrew, M. (2012). Developing and evaluating complex interventions: the new Medical Research Council guidance. International Journal of Nursing Studies, 50(5), 587–592. doi: 10.1016/j.ijnurstu.2012.09.010
EbM-Netzwerk. (2019). Stellungnahme des Deutschen Netzwerks Evidenzbasierte Medizin zum Entwurf eines Gesetzes für eine bessere Versorgung durch Digitalisierung und Innovation (Digitale Versorgung-Gesetz – DVG) vom 15.5.2019.
Ekelend, A., Bowes, A., & Signe, F. (2010). Effectiveness of telemedicine: A systematic review of reviews. International Journal of Medical Informatics, 79, 736–771. doi: https://doi.org/10.1016/j.ijmedinf.2010.08.006
Enam, A., Torres-Bonilla, J., & Eriksson, H. (2018). Evidence-Based Evaluation of eHealth Interventions: Systematic Literature Review. Journal of Medical Internet Research, 20(11), e10971. doi: 10.2196/10971
Eysenbach, G., & Group, C.-E. (2011). CONSORT-EHEALTH: Improving and Standardizing Evaluation Reports of Web-based and Mobile Health Interventions. Journal of Medical Internet Research, 13(4), e126. doi: 10.2196/jmir.1923
Felix, G., Indra, J., Mark, C., Samantha, R., Neelam, P., & John, P. (2018). What is an appropriate level of evidence for a digital health intervention? The Lancet, 392(10165), 2665–2667. doi: 10.1016/s0140-6736(18)33129-5
Gordon, W. J., Landman, A., Zhang, H., & Bates, D. W. (2020). Beyond validation: getting health apps into clinical practice. Npj Digital Medicine, 3(1), 14. doi: 10.1038/s41746-019-0212-z
Hennessy, M., Heary, C., Laws, R., Rhoon, L., Toomey, E., Wolstenholme, H., & Byrne, M. (2019). The effectiveness of health professional-delivered interventions during the first 1000 days to prevent overweight/obesity in children: A systematic review. Obesity Reviews, 20(12), 1691–1707. doi: 10.1111/obr.12924
Hoffmann, T. C., Glasziou, P. P., Boutron, I., Milne, R., Perera, R., Moher, D., … Michie, S. (2014). Better reporting of interventions: template for intervention description and replication (TIDieR) checklist and guide. BMJ, 348(mar07 3), g1687–g1687. doi: 10.1136/bmj.g1687
Kidholm, K., Clemensen, J., Caffery, L. J., & Smith, A. C. (2017). The Model for Assessment of Telemedicine (MAST): A scoping review of empirical studies. Journal of Telemedicine and Telecare, 23(9), 803–813. doi: 10.1177/1357633x17721815
Kidholm, K., Ekeland, A. G., Jensen, L. K., Rasmussen, J., Pedersen, C. D., Bowes, A., … Bech, M. (2012). A MODEL FOR ASSESSMENT OF TELEMEDICINE APPLICATIONS: MAST. International Journal of Technology Assessment in Health Care, 28(1), 44–51. doi: 10.1017/s0266462311000638
Kowatsch, T., Otto, L., Harperink, S., Cotti, A., & Schlieter, H. (2020). A design and evaluation framework for digital health interventions. It - Information Technology, 61(5–6), 253–263. doi: 10.1515/itit-2019-0019
Kristian, K., K., J., Lise, Tue, K., Emilie, N., & B., H., Mette. (2018). Validity of the Model for Assessment of Telemedicine: A Delphi study. J Telemed Telecare, 24(2), 118–125. doi: 10.1177/1357633x16686553
Krüger-Brand, & E., H. (2019). Digitale Versorgung-Gesetz: Im Detail noch nachschärfen. Dtsch Arztebl.
Li, R., Liang, N., Bu, F., & Hesketh, T. (2020). The Effectiveness of Self-Management of Hypertension in Adults Using Mobile Health: Systematic Review and Meta-Analysis. JMIR MHealth and UHealth, 8(3), e17776. doi: 10.2196/17776
Linardon, J., Cuijpers, P., Carlbring, P., Messer, M., & Fuller‐Tyszkiewicz, M. (2019). The efficacy of app-supported smartphone interventions for mental health problems: a meta-analysis of randomized controlled trials. World Psychiatry, 18(3), 325–336. doi: 10.1002/wps.20673
Mathews, S. C., McShea, M. J., Hanley, C. L., Ravitz, A., Labrique, A. B., & Cohen, A. B. (2019). Digital health: a path to validation. NPJ Digital Medicine, 2(1), 38. doi: 10.1038/s41746-019-0111-3
Moher, D., Schulz, K. F., Simera, I., & Altman, D. G. (2010). Guidance for developers of health research reporting guidelines. PLoS Medicine, 7(2), e1000217. doi: 10.1371/journal.pmed.1000217
NICE. (2019). Evidence standards framework for digital health technologies. In: https://www.nice.org.uk/about/what-we-do/our-programmes/evidence-standards-framework-for-digital-health-technologies (Abgerufen am 10.12.2020)
Sauerland, S. (2019). Digitale Gesundheitsinterventionen - Wann braucht es welche Evidenz? KVH-Journal, 4/2019.
Thurnheer, S. E., Gravestock, I., Pichierri, G., Steurer, J., & Burgstaller, J. M. (2018). Benefits of Mobile Apps in Pain Management: Systematic Review. JMIR MHealth and UHealth, 6(10), e11231. doi: 10.2196/11231
Tønning, M. L., Kessing, L. V., Bardram, J. E., & Faurholt-Jepsen, M. (2019). Methodological Challenges in Randomized Controlled Trials on Smartphone-Based Treatment in Psychiatry: Systematic Review. Journal of Medical Internet Research, 21(10), e15362. doi: 10.2196/15362
Vilardaga, R., Casellas-Pujol, E., McClernon, J. F., & Garrison, K. A. (2019). Mobile Applications for the Treatment of Tobacco Use and Dependence. Current Addiction Reports, 6(2), 86–97. doi: 10.1007/s40429-019-00248-0
Wang, Y., Min, J., Khuri, J., Xue, H., Xie, B., Kaminsky, L. A., & Cheskin, L. J. (2020). Effectiveness of Mobile Health Interventions on Diabetes and Obesity Treatment and Management: Systematic Review of Systematic Reviews. JMIR MHealth and UHealth, 8(4), e15400. doi: 10.2196/15400
WHO. (2020). mHealth: new horizons for health through mobile technologies: second global survey on eHealth. Global observatory for eHealth Series, 3.

Printmagazin abonnieren

Einzelheft bestellen

Ausgabe im Archiv (nur für angemeldete Benutzer/Abonnenten)


Zitationshinweis: Kernebeck et al.: „Bewerten, aber wie? – Kriterien für die Evaluation und das Reporting von Studien zu Gesundheits- und Medizin-Apps “, in: „Monitor Versorgungsforschung“ (02/21), S. 69-75. doi: http://doi.org/10.24945/MVF.02.21.1866-0533.2300

Open Access

Plain-Text:

Bewerten, aber wie? – Kriterien für die Evaluation und das Reporting von Studien zu Gesundheits- und Medizin-Apps

Mit der Digitalisierung im Gesundheitswesen sind große Erwartungen an die Qualitätssteigerung der gesundheitlichen Versorgung geknüpft (Mathews et al., 2019), dies gilt besonders für Diagnostik, Prävention sowie für das Management chronischer Krankheiten (Gordon, Landman, Zhang & Bates, 2020). Gesundheits- und Medizin-Apps (GuMA) werden aufgrund der ubiquitären Verfügbarkeit von Smartphones in der Bevölkerung eine besondere Rolle zugesprochen. Jedoch besteht seit längerem eine breite Diskussion hinsichtlich der noch eingeschränkten Evidenz von GuMA, welche in verschiedenen systematischen Übersichtsarbeiten als heterogen eingeschätzt wird (Agarwal, Lefevre & Labrique, 2017; Felix et al., 2018; Mathews et al., 2019). In einem systematischen Review von Bayambasuren et al. recherchierten die Autoren nach systematischen Reviews über randomisiert kontrollierte Studien (RCT) mit verschreibungsfähigen (Prescribable) GuMAs, die zum Download frei verfügbar waren (Byambasuren, Sanders, Beller & Glasziou, 2018). Verschreibungsfähige Apps definieren die Autoren als Apps, die derzeit verfügbar sind, die effektiv sind und die alleinstehend (stand-alone), ohne die Einbindung von Professionellen im Gesundheitswesen angewendet werden. Die Autoren schlossen insgesamt sechs systematische Reviews in ihre Analyse ein, aus denen sie wiederum 23 RCTs zu 22 unterschiedliche GuMAs extrahierten. In lediglich 11 dieser 23 RCTs konnte ein aussagekräftiger Effekt auf die Gesundheit oder auf ausgewählte Surrogatendpunkte nachgewiesen werden, die möglicherweise auf eine GuMA zurückzuführen waren. In der Gesamtbetrachtung war der Nachweis der Wirksamkeit jedoch von eingeschränkter Qualität, was gerade die Verschreibungsfähigkeit dieser Apps für Ärzte deutlich erschwert (Mathews et al., 2019). Ebenfalls monierten die Autoren sowohl bei den sechs eingeschlossenen systematischen Reviews als auch bei den 23 extrahierten RCTs ein hohes Risk of Bias, was ebenfalls zu einer Einschränkung der Ergebnisse beiträgt. Gleichermaßen finden sich in verschiedenen Anwendungsbereichen positive Ergebnisse hinsichtlich der Effektivität. Dies lässt sich etwa für das Selbstmanagement der Hypertonie (Li, Liang, Bu & Hesketh, 2020) oder das Selbstmanagement psychischer Krankheiten konstatieren (Linardon, Cuijpers, Carlbring, Messer & Fuller-Tyszkiewicz, 2019).
Mit der Digitalisierung im Gesundheitswesen sind große Erwartungen an die Qualitätssteigerung der gesundheitlichen Versorgung geknüpft (Mathews et al., 2019), dies gilt besonders für Diagnostik, Prävention sowie für das Management chronischer Krankheiten (Gordon, Landman, Zhang & Bates, 2020). Gesundheits- und Medizin-Apps (GuMA) werden aufgrund der ubiquitären Verfügbarkeit von Smartphones in der Bevölkerung eine besondere Rolle zugesprochen. Jedoch besteht seit längerem eine breite Diskussion hinsichtlich der noch eingeschränkten Evidenz von GuMA, welche in verschiedenen systematischen Übersichtsarbeiten als heterogen eingeschätzt wird (Agarwal, Lefevre & Labrique, 2017; Felix et al., 2018; Mathews et al., 2019). In einem systematischen Review von Bayambasuren et al. recherchierten die Autoren nach systematischen Reviews über randomisiert kontrollierte Studien (RCT) mit verschreibungsfähigen (Prescribable) GuMAs, die zum Download frei verfügbar waren (Byambasuren, Sanders, Beller & Glasziou, 2018). Verschreibungsfähige Apps definieren die Autoren als Apps, die derzeit verfügbar sind, die effektiv sind und die alleinstehend (stand-alone), ohne die Einbindung von Professionellen im Gesundheitswesen angewendet werden. Die Autoren schlossen insgesamt sechs systematische Reviews in ihre Analyse ein, aus denen sie wiederum 23 RCTs zu 22 unterschiedliche GuMAs extrahierten. In lediglich 11 dieser 23 RCTs konnte ein aussagekräftiger Effekt auf die Gesundheit oder auf ausgewählte Surrogatendpunkte nachgewiesen werden, die möglicherweise auf eine GuMA zurückzuführen waren. In der Gesamtbetrachtung war der Nachweis der Wirksamkeit jedoch von eingeschränkter Qualität, was gerade die Verschreibungsfähigkeit dieser Apps für Ärzte deutlich erschwert (Mathews et al., 2019). Ebenfalls monierten die Autoren sowohl bei den sechs eingeschlossenen systematischen Reviews als auch bei den 23 extrahierten RCTs ein hohes Risk of Bias, was ebenfalls zu einer Einschränkung der Ergebnisse beiträgt. Gleichermaßen finden sich in verschiedenen Anwendungsbereichen positive Ergebnisse hinsichtlich der Effektivität. Dies lässt sich etwa für das Selbstmanagement der Hypertonie (Li, Liang, Bu & Hesketh, 2020) oder das Selbstmanagement psychischer Krankheiten konstatieren (Linardon, Cuijpers, Carlbring, Messer & Fuller-Tyszkiewicz, 2019).

Ausgabe 02 / 2021

Editorial

RoskiHerausgeber
Prof. Dr.
Reinhold
Roski

 

 

Gemeinsamer Priorisierungskatalog

« Dezember 2022 »
Dezember
MoDiMiDoFrSaSo
1234
567891011
12131415161718
19202122232425
262728293031
Creative Commons License