Fast die Hälfte der von der FDA zugelassenen KI-gestützten medizinischen Geräte fehlen klinische Validierungsdaten!

Eine aktuelle Studie hat ergeben, dass fast die Hälfte aller von der Food and Drug Administration (FDA) für die Verwendung zugelassenen medizinischen Geräte mit künstlicher Intelligenz nicht ordnungsgemäß getestet wurden und keine angemessenen Daten zum Nachweis ihrer Sicherheit und Wirksamkeit haben.

Die kürzlich in Nature Medicine veröffentlichte Studie ergab, dass fast 43 Prozent der 521 KI-Gesundheitsgeräte, die von der FDA zwischen 2016 und 2022 zugelassen wurden, keine öffentlich verfügbaren klinischen Validierungsdaten haben, die zeigen, dass sie mit echten Patientendaten getestet wurden. Das bedeutet, dass fast die Hälfte dieser Tools nicht unbedingt auf tatsächliche Patientenfälle „trainiert“ wurde, was Bedenken hinsichtlich ihrer Leistung in realen medizinischen Umgebungen aufwirft.

Die an der Studie beteiligten Forscher fordern mehr Transparenz und bessere Standards bei der Entwicklung und Zulassung von KI-gestützten Medizinprodukten. Sie argumentieren, dass klarere Richtlinien erforderlich sind, um festzustellen, welche Geräte wirklich effektiv sind und welche möglicherweise mehr Tests erfordern.

Der Hauptautor Sammy Chouffani El Fassi, ein Medizinstudent der University of North Carolina in Chapel Hill, betonte das Fehlen eines Standards für das Verständnis der Qualität und Zuverlässigkeit dieser Geräte. (Verwandt: KI-gestützte medizinische Geräte könnten die Erkennung und Differenzierung von Hautkrebs verbessern – aber auch falsche Messwerte geben.)

Das Fehlen öffentlicher Daten bedeutet nicht immer, dass die Daten nicht existieren. Die FDA überprüft umfangreiche vertrauliche Informationen, bevor sie ein Gerät genehmigt, das echte Patientendaten enthalten könnte. Dieser Mangel an Transparenz könnte jedoch dazu führen, dass Kliniker zögern, neue KI-Tools einzuführen, da sie sich möglicherweise nicht sicher sind, wie diese Geräte in realen Szenarien funktionieren werden. Laut Chouffani El Fassi ist es unwahrscheinlich, dass Ärzte Geräten vertrauen, die unter realen Bedingungen nicht rigoros getestet wurden.

Die Studie hob auch die Möglichkeit hervor, sich von Klinikern und Forschern stärker an der Erprobung dieser Geräte zu beteiligen. Durch die aktive Bewertung der Leistung von KI-Tools bei Patienten, Angehörigen der Gesundheitsberufe und angesehenen akademischen Einrichtungen kann die Qualität und Zuverlässigkeit von KI in der Medizin verbessert werden.

Bei den meisten der untersuchten KI-Tools handelte es sich um Geräte der Klasse II, die als ein moderates Risiko für Patienten gelten und in der Regel aufgrund ihrer Ähnlichkeit mit bestehenden Technologien zugelassen sind. Interessanterweise waren mehr als die Hälfte der Geräte, denen es an klinischer Validierung mangelte, radiologische Werkzeuge, die häufig für die Bildarchivierung und Kommunikation verwendet werden. Diese Funktionen erfordern möglicherweise keine prospektive Validierung, da sie sich nicht immer direkt auf die Patientenversorgung auswirken.

Allerdings, Dr. Nigam H. Shah, Professor und Chefdatenwissenschaftler bei Stanford Health Care, stellte fest, dass einige dieser Tools möglicherweise keine reale Validierung benötigen, um ihre Wirksamkeit zu beweisen, da sie mit beliebigen Daten, sogar mit nicht-medizinischen Bildern, getestet werden können.

Wie Kliniker etwas bewirken können

Die Anzahl der von der FDA zugelassenen KI-Geräte liegt jetzt bei rund 950 KI- und maschinellem Lernen-fähigen Geräten. Dieser Anstieg spiegelt ein wachsendes Interesse an KI-Technologie wider, stellt aber auch eine Herausforderung für die Regulierungsbehörden dar, mitzuhalten. Laut Shah können hier Akademiker und Kliniker eine entscheidende Rolle spielen.

Kliniker und Forscher können einen Beitrag leisten, indem sie KI-Geräte im Rahmen ihrer regulären Arbeit validieren, z. B. während medizinischer Stipendien. Geräteunternehmen könnten auch mit Organisationen wie der Coalition for Health AI zusammenarbeiten, um gründliche prospektive Validierungen durchzuführen.

Diese Art von Forschung muss nicht übermäßig kompliziert sein. Zum Beispiel könnte das Testen eines KI-Tools, das hilft, Gehirnblutungen oder Schlaganfälle in CT-Scans zu identifizieren, einfache Vergleiche beinhalten, wie die Messung der Zeit bis zur Diagnose mit und ohne KI oder die Frage an Radiologen, die Wirksamkeit des Tools auf einer einfachen Skala zu bewerten.

Selbst eine grundlegende Feedback-Methode, wie z. B. eine Fünf-Punkte-Likert-Skala, kann wertvolle Erkenntnisse liefern. Wenn Kliniker ein Werkzeug in der Praxis als schwierig oder nicht vorteilhaft finden, hilft dieses Feedback, den klinischen Wert des Tools zu bestimmen. Dies wiederum könnte zu einer größeren Akzeptanz und Verwendung von KI-Geräten im Gesundheitswesen führen.

Trotz der potenziellen Vorteile von KI nutzten laut einer aktuellen Umfrage der American Medical Association nur 38 Prozent der Ärzte sie. Und während 65 Prozent der Ärzte glauben, dass KI der Gesundheitsversorgung zugute kommen könnte, zögern viele, weil sie nicht davon überzeugt sind, dass die Vorteile die Kosten rechtfertigen.

Sehen Sie sich dieses Video an, um zu erfahren, was als nächstes für KI im Gesundheitswesen im Jahr 2023 kommt.

Dieses Video stammt aus dem Daily Videos-Kanal auf Brighteon.com.