KI in der Diagnostik interessiert nicht nur den Arzt, sondern auch den Anwalt

Auf künstlicher Intelligenz (KI) basierende Systeme haben längst auch unseren Alltag erobert, sei es die Gesichtserkennung am Smartphone, Empfehlungssysteme basierend auf Google-Suchen, zu Musik oder Filmempfehlungen auf Basis der persönlichen Hör- oder Sehhistorie bis zu Alexa, das unsere Fragen beantwortet oder Bestellungen absendet. Nähern sich diese Anwendungen dem Menschen und seiner Gesundheit, dann braucht es allerdings Regularien.

Regulierter Markt für Medizingeräte

Das Medizinproduktegesetz ist diesbezüglich einer der wichtigsten regulativen Gesetze und hat bereits einige Entwicklungsstufen hinter sich, um mit den Innovationen in der Medizin auch Schritt zu halten. Geschichtlich gab es eine Medizingeräteverordnung, die hauptsächlich für medizinisch-technische Geräte galt. Gesetzliche Anpassungen waren bereits notwendig, um reine Softwaresysteme als Medizinprodukt zertifizieren zu können. Die Verwendung von KI in Softwaresystemen stellt die Regularien (oder genauer die benannten Stellen, die die Zertifizierungen durchführen) neuerlich vor Herausforderungen. Aktuell gibt es zwar noch keine spezifischen gesetzlichen Vorgaben, die sich speziell dem KI-Thema widmen; bereits bestehende Gesetze müssen jedoch erfüllt werden, wie etwa:

• Der Nutzen und die Leistungsfähigkeit der Medizinprodukte, die der Diagnose dienen, bedürfen des Nachweises der Sensitivität und Spezifität – zwei statistischen Parametern.

• Medizinprodukte müssen gegen die Zweckbestimmung und gegen die Spezifikationen verifiziert werden. Dazu gehört auch Anhang I der grundlegenden Sicherheits- und Leistungsanforderungen der EU-Verordnung 2017/745 über ­Medizinprodukte vom 5. April 2017 – Medical Device Regulation (MDR).

• Die Wiederholbarkeit, Zuverlässigkeit und Leistungsfähigkeit müssen gewährleistet werden, ebenfalls eine Forderung des MDR.

• Kompetenzgewährleistung der an der Entwicklung beteiligten Personen, siehe Richtlinien der ISO 13485:2016 7.3.2f.

Das bereits erwähnte MDR ist ein Nachfolger der Medical Device Directive (MDD) und ersetzt die MDD und die Active Implantable Medical Devices Directive (AIMD). Die bisher geltende Richtlinie über In-Vitro Diagnostika (IVD), die Teil der MDD war, wird durch eine eigene unabhängige Verordnung, In-Vitro Dia­gnostic Medical Devices Regulation (IVDR), ersetzt. Unter In-Vitro-Diagnostika werden alle Medizinprodukte subsummiert, die zur In-Vitro-Untersuchung von aus menschlichem Körper stammenden Proben verwendet werden. Typischerweise werden darunter Laborgeräte verstanden (aber auch hier kann Stand-alone-Software gemeint sein, die ebenfalls mit KI-Technologien arbeiten könnten).

Herausforderungen bei der KI-Regulierung

Die U.S. Food and Drug Administration (FDA) hat bereits im April 2019 in ihrem Dokument "Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD)" reagiert, um mit den neuen Herausforderungen umzugehen.

Was sind aber nun die Herausforderungen bei KI-basierten Systemen? Bisher wurde hier der Begriff "künstliche Intelligenz" sehr allgemein verwendet. In der Literatur wird es meist als Oberbegriff verwendet, die sogenannten Machine-Learning-Verfahren mit einschliesst. Die auf neuronalen Netzwerken basierenden Verfahren des Deep Learning, die zum neuen Aufschwung der KI geführt haben, werden als Teilgebiet des Machine Learning gesehen. Beachtenswert ist, dass nach einer Arbeit von Jiang, F. et al, "Artificial intelligence in healthcare: past, present and future" in der Medizin neuronale Netzwerke nur den zweiten Platz einnehmen, während sogenannte Support-Vektor-Maschinen am häufigsten zum Einsatz kommen, gefolgt von anderen Standardverfahren des Machine Learning.

Egal welche Methode eingesetzt wird, alle Machine-Learning-Systeme haben eines gemeinsam: Das System wird mit Daten gefüttert (Eingabe), etwa Röntgen-, MR-Bilder, Laborwerte, Symptome, und liefert ein Ergebnis (Ausgabe), etwa Diagnosewahrscheinlichkeit, Tumorerkennung oder Scores. Der grosse Unterschied zu herkömmlichen Systemen liegt darin, dass das Machine-Learning-System nicht durch Regeln geformt wird, die ein Mensch/Experte vorgibt, sondern es wird durch sehr grosse Datenmengen, nämlich bereits bekannte Eingabe-Ausgabe-Paare, geformt. Dieser Prozess wird üblicherweise als (überwachtes) Training des Machine-Learning-Systems bezeichnet, wobei es noch andere Arten des Trainings gibt, die hier nicht weiter betrachtet werden.

Die Hauptschwierigkeit, die sich aus regulatorischer Sicht ergibt, ist, dass es sich um ein kontinuierlich lernendes System handelt. Es kann also durchaus sein, dass eine Eingabe durch das Training mit neuen, zusätzlichen Daten zu einem späteren Zeitpunkt ein anderes Ergebnis liefert. Die FDA hat dieser Eigenheit besondere Beachtung geschenkt, erkennt aber auch, dass es bereits zugelassene KI-basierende Medizinprodukte gibt, die mit "geschlossenen Algorithmen" arbeiten, das heisst nicht mehr weiter trainiert werden. Das FDA-Proposal gibt Vorschläge an, wie auf Änderungen reagiert werden kann, das reicht von reiner Dokumentation der Änderungen bis zu einer komplett neuen Zertifizierung.

Hersteller von KI-basierten Systemen müssen an das Medizin­produkt gestellten Anforderungen in Bezug auf Genauigkeit, Korrektheit oder Robustheit, Machine Learning spezifische Fragen beantworten können:

• Haben die Trainingsdaten einen Bias? Das bedeutet, dass die verwendeten Trainingsdaten sehr einseitig ausgewählt wurden, etwa wenn für einen Melanomerkennungsalgorithmus nur Trainingsdaten von Menschen mit heller Hautfarbe verwendet wurden. Die Anwendung bei dunkelhäutigen ­Patienten wäre hier problematisch.

• Hat das System das Wesentliche erkannt? Nehmen wir zum Beispiel an, ein System soll Autos und Panzer unterscheiden. Da die Trainingsdaten nur Autobilder enthalten, die bei schönem Wetter und blauem Himmel aufgenommen wurden, kann es sein, dass das System das Erkennen des "schönen Wetters" trainiert hat und nicht das Erkennen des Objekts Auto.

• Wie wurden die Trainingsdaten erstellt? Machine-Learning-Systeme brauchen eine grosse Menge an qualitativ hochwertigen Daten zum Training.

• Kann die Reproduzierbarkeit gewährleistet werden, wenn das System mit neuen Daten gefüttert wird? Die Performance muss bei kontinuierlich lernenden Systemen zumindest gleich bleiben oder besser werden.

Neben weiteren Fragen kommt noch eine zusätzliche Herausforderung hinzu, das sogenannte Blackbox-Problem. Machine-Learning-Systeme, im Besonderen neuronale Netze, liefern zwar Ergebnisse mit den geforderten Genauigkeiten, aber es fehlt die Erklärungskomponente.

Natürlich kommt man manchmal ohne Erklärung aus, etwa wenn in einem MR-Bild ein Tumor erkannt wurde und ein Arzt das begutachtet, interessiert weniger das Warum, sondern das Ob. Zudem gibt es in der Wissenschaft bereits aktive Anstrengungen, um zu erkennen, warum ein Machine-Learning-System seine Entscheidung getroffen hat, etwa durch Visualisierung von Neuronenaktivierungen im neuronalen Netz und weiteren Methoden, die zur Interpretierbarkeit von Machine-Learning-Systemen führen.

Regeln sind gefragt

Der Status quo ist von einer regulatorischen Unsicherheit geprägt. Es werden zwar KI-basierende Systeme als Medizinprodukte zugelassen, allerdings gibt es für Hersteller und benannten Stellen keine Guidelines und es wird folglich sehr subjektiv entschieden. Das Johner-Institut, Koblenz, hat hierzu einen Leitfaden veröffentlicht, der die regulatorische Lücke reduziert, dennoch braucht es noch Anstrengungen, um allgemeine Regeln für KI-Systeme in der Medizin aufstellen zu können. Trotz aller regulatorischen Herausforderungen für Hersteller von Medizinprodukten und benannten Stellen, werden KI-Systeme in der medizinischen Behandlung von Patienten in Zukunft nicht mehr wegzudenken sein.