Kontinuierlich lernende KI-Algorithmen für die Radiologie
„Das aktuell größte Risiko KI-basierter Anwendungen ist nicht, dass sie besser werden als der Mensch, sondern dass sich der Mensch mit qualitativ schwachen KI-Ergebnissen zufrieden gibt.“ Oleg Pianykh, Harvard Medical School, ruft damit die RadiologInnen auf, sich mit kontinuierlich lernenden KI-Systemen zu befassen.
-
Datum:12.01.2021 0 Kommentare
-
Journal:Radiology 2020; 297:15–6
-
Titel:Continuous Learning AI in Radiology: Implementation Principles and Early Applications
-
Autor:Oleg Pianykh et al.
Zur Originalstudie
Kommentar Alan B. McMillan, University of Wisconsin-Madison |
Hintergrund
Für vorab festgelegte Algorithmen künstlicher Intelligenz (KI) gibt es in der Radiologie immer mehr Einsatzbereiche. Allerdings leidet die Qualität ihrer Ergebnisse oft unter mehreren Faktoren: 1) Sie lassen sich nur bedingt auf neue Datensätze anwenden, 2) sie passen sich einer sich wandelnden Arbeitsumgebung (z.B. neue Protokolle) nicht an, 3) Qualitätskontrollen sind ungenügend, und 4) sie lassen nicht richtig in radiologische Arbeitsabläufe integrieren.
Ein Ausweg können kontinuierlich lernende KI-Systeme sein, wie sie in Robotik oder Softwareentwicklung schon im Einsatz sind. Im Gegensatz zu einmal „zuende“ entwickelten, statischen KI-Algorithmen sind kontinuierlich lernende KI-Systeme dazu in der Lage, permanent Feedback und neue Daten aufzunehmen und zu verarbeiten. So aktualisieren sie sich fortwährend selbst.
Oleg Pianykh, Harvard Medical School, Boston, schildert grundlegende Prinzipien, wie RadiologInnen solche Systeme zum Laufen bringen.
Neueste Daten einbeziehen
Viele statische KI-Algorithmen werden ausschließlich mit handverlesenen Daten entwickelt. Zusätzlich verstehen die Entwickler oft wenig von Bildgebung, Scanprotokollen oder Qualitätsmaßstäben. Daher drohen statische KI-Algorithmen schnell zu veralten – sie können Veränderungen in der Arbeitsumgebung nicht mitmachen.
Um KI-Systeme nicht von neueren Daten abzuschneiden, müssen ihnen aktuelle Daten in Echtzeit zufließen. Damit dies kontrolliert geschieht, braucht es die regelmäßige Interaktion der KI mit dem radiologischen Personal. So werden RadiologInnen zu den entscheidenden Partnern in der Entwicklung neuer, kontinuierlich lernender KI-Systeme.
Im Bereich diagnostischer KI-Anwendungen können das beispielsweise Feedback-Schleifen sein, in denen der Radiologe / die Radiologin KI-basierte Befunde entweder annimmt oder verwirft. Auf dieser Grundlage aktualisiert sich die Ground Truth permanent.
Mehr und andere Daten einbeziehen
Die Präzision von KI-Systemen bemisst sich daran, aus unsauberen, heterogenen und manchmal unvollständigen Daten Features für ein Vorhersagemodell zu generieren. Je mehr Daten man kontinuierlich lernender KI zur Verfügung stellt – etwa demographische Daten oder Laborergebnisse – desto bessere vorhersagetaugliche Features sind zu erwarten. Durch eine breiter werdende Datenbasis können solche Systeme über die ersten Annahmen ihrer Entwickler hinauswachsen.
Hohe Qualität des Algorithmus’ bewahren
Bei kontinuierlich lernender KI ist eine konstante Qualitätskontrolle durch den Menschen nicht mehr zu gewährleisten. Dafür braucht es automatisierte Prozesse.
Als typischen Fall eines rapiden Qualitätsabfalls schildert Pianykh das „katastrophale Vergessen“: Ein bestehender Algorithmus wird anhand neuer Daten erneut trainiert und büßt dabei stark an Vorhersagepotenzial ein.
Beispiel: In eine KI-Anwendung zur Vorhersage von PatientInnen-Wartezeiten bis zur geplanten Untersuchung wurde händisch versehentlich ein einziger Zeitpunkt falsch eingegeben. Das System versuchte den drastischen Ausreißer einzubeziehen, und sagte nun die Wartezeiten ganz verkehrt voraus.
Computerleistung und Reproduzierbarkeit verbessern
Oft werden KI-Algorithmen mit großem Aufwand an teuren Rechnern entwickelt und trainiert. Dennoch sind sie nicht dagegen gefeit, dass die Qualität ihrer Ergebnisse vom Vorhandensein spezieller Hardware – etwa der Grafikkarte – oder der Softwareumgebung abhängt.
Kontinuierlich lernende KI-Algorithmen müssen daher von den zugrundeliegenden Computerprofilen entkoppelt werden. So können sie auf unterschiedlichen Systemen gleich gut arbeiten. Dabei ist der kontinuierliche Input durch RadiologInnen essentiell: Sie optimieren die Ground Truth, definieren die Endpunkte und beurteilen die klinische Performance eines Algorithmus’.
Gesetzgeberische Voraussetzungen
Für die USA hat die dortige Zulassungsbehörde FDA bereits ein Regelwerk vorgeschlagen, um Modifikationen an KI-basierten Anwendungen zu ermöglichen, die als Medizinprodukt bereits zugelassen sind. Sind Art und Umfang der potenziellen Modifikationen zuvor grundsätzlich dargelegt worden, könnten diese ohne erneutes Zulassungsverfahren gestattet werden.
In der EU gelten KI-Algorithmen derzeit als eigenständige Medizinprodukte. Jegliches Training darf ausschließlich vor der Zulassung erfolgen. Ob das in einer für Mitte der 2020er Jahre geplanten, neuen EU-Vorschrift für Medizingeräte anders sein wird, ist ungewiss.
mh/ktg
12.01.2021