Einblicke in die Rolle von „large language models“ in der urologischen Bildung

Die rasante Entwicklung der künstlichen Intelligenz (KI) hat auch das Feld der Medizin erfasst. In einer vergleichenden Analyse wurden große Sprachmodelle wie ChatGPT und BingAI anhand des In-Service-Assessments 2022 (ISA) des European Board of Urology (EBU) getestet. Die Modelle erzielten beeindruckende Ergebnisse, wiesen aber einige verbesserungswürdige Schwächen auf.

In den letzten Jahrzehnten hat die rapide Entwicklung der KI zahlreiche Aspekte des täglichen Lebens und der Wissenschaft revolutioniert. Im Bereich der KI stellen „large language models“ (LLM) eine besondere Untergruppe dar, die sich durch ihre tiefgreifende Lernkapazität, bekannt als „deep learning“, auszeichnet. Diese Modelle basieren auf neuronalen Netzwerken, bestehend aus Millionen oder Milliarden von einzelnen künstlichen Neuronen, die in Schichten angeordnet und miteinander verbunden sind. Jedes Neuron führt einfache Berechnungen durch, wie das Gewichten von Eingabedaten und die Anwendung einer Aktivierungsfunktion. Wenn diese Neuronen jedoch miteinander interagieren, entsteht eine emergente Intelligenz. Das Netzwerk ist dann analog zum menschlichen Gehirn in der Lage, komplexe Aufgaben wie Bilderkennung, Sprachverarbeitung oder sogar autonome Fahrzeugsteuerung zu bewältigen.^1,2 LLM werden mithilfe umfangreicher Datensätze trainiert, die aus verschiedenen öffentlichen Quellen stammen. Dadurch können sie kontextuell relevante und kohärente Antworten auf Anfragen in natürlicher Sprache generieren. KI-Chatbots kommunizieren mit Menschen, indem sie die Bedeutung ihrer Anfragen interpretieren und entsprechende Antworten liefern.^1,3

Die interaktiven Fähigkeiten von LLM haben das Interesse von Ärzten und Forschern geweckt, insbesondere hinsichtlich ihrer potenziellen Anwendungen in der medizinischen Information und Bildung. Derzeit gibt es jedoch nur begrenzte veröffentlichte Daten zur Wirksamkeit von LLM in der medizinischen Ausbildung und ihrer Leistung bei medizinischen Prüfungen, insbesondere im Bereich der Urologie. In unseren Vergleichsanalysen haben wir die Präzision, Verlässlichkeit und Leistungsfähigkeit dreier LLM in der Beantwortung von Prüfungsfragen aus verschiedenen urologischen Teilgebieten beurteilt.^4,5

Studiendesign

ChatGPT-3.5, ChatGPT-4 und Bing AI wurden im August 2023 in zwei Testphasen mit jeweils mindestens 48 Stunden Abstand mittels 100 Multiple-Choice-Fragen (MCQ) aus dem „In-Service-Assessment“ (ISA) 2022 des European Board of Urology (EBU) geprüft. Im Falle von divergierenden Antworten wurde eine zusätzliche Konsensfindungsrunde eingeführt, um definitive Antworten zu bestimmen.

Der primäre Endpunkt umfasste die Anzahl an korrekt beantworteten Fragen („rate of correct answers“; RoCA). Zudem wurde die Konsistenz der LLM-Antworten über zwei Testphasen analysiert sowie die Leistung der LLM bei Fragen unterschiedlicher Komplexität beurteilt. Die Bestehensgrenze von 61% aus dem schriftlichen EBU-Examen des Jahres 2022 wurde als maßgebliche Benchmark herangezogen. Die 100 MCQ wurden anhand der Antwortmuster von 727 Prüflingen des ISA 2022, basierend auf ihrer Genauigkeitsverteilung, in vier Komplexitätsquartile (Q1–Q4) kategorisiert. Der mediane RoCA-Score der Prüflinge betrug 72,1% (Interquartilsbereich; IQR: 54,5–84,4). Zehn Wochen nach der initialen Konsensphase wurde eine vierte Testrunde zur Evaluierung eines möglichen Wissenszuwachses durchgeführt.

Die Sprachmodelle

• ChatGPT-3.5: ist ein hochmodernes KI-Sprachmodell, das von OpenAI entwickelt und im November 2022 eingeführt wurde. Es wurde auf umfangreichen Daten trainiert, um Fragen zu beantworten, Informationen bereitzustellen und sich an vielfältigen Textkonversationen zu beteiligen. Das Wissen von ChatGPT-3.5 ist auf Informationen beschränkt, die bis zu seinem Trainingsstichtag im September 2021 verfügbar waren.

• ChatGPT-4: wurde im März 2023 veröffentlicht und stellt eine Weiterentwicklung seines Vorgängers dar, mit verbesserten Fähigkeiten im Verständnis von Kontexten und bei der Generierung kohärenter Antworten. Ein herausragendes Merkmal von ChatGPT-4 ist seine Fähigkeit, aktuelle Informationen aus Internetsuchmaschinen abzurufen, was es von seinem Vorgänger unterscheidet.

• BingAI: wurde von Microsoft in Zusammenarbeit mit OpenAI entwickelt und im Februar 2023 eingeführt. Es kombiniert das ChatGPT-4-LLM von OpenAI mit Microsofts Prometheus-Suchwerkzeug. Es verwendet eine transformerbasierte semantische „ranking engine“ für das kontextuelle Verständnis und wird ständig durch das KI-Modell verbessert. Besonders hervorzuheben ist, dass Bing AI Informationsquellen eindeutig zitiert und Echtzeitdaten aus Internetsuchmaschinen abruft.

Ergebnisse

Über die drei Testdurchgänge hinweg erzielte ChatGPT-3.5 eine RoCA von 58%, 62% und 59%. ChatGPT-4 hingegen erreichte 63%, 77% und 77%, während Bing AI mit 81%, 73% und 77% abschnitt (p≤0,010 in jeder Runde; Abb. 1).⁴

Die Übereinstimmungsraten zwischen der ersten und zweiten Runde lagen für ChatGPT-3.5 bei 84% (κ=0,67, p<0,001), für ChatGPT-4 bei 74% (κ=0,40, p<0,001) und für BingAI bei 76% (κ=0,33, p<0,001). Die Stärke der Übereinstimmung wird dabei wie folgt klassifiziert: schwach (κ<0,3), moderat (κ=0,3–0,6) und stark (κ>0,6).⁴

Alle LLM demonstrierten eine inverse Korrelation zwischen den erzielten RoCA-Werten und der Komplexität der Fragen, wobei bei anspruchsvolleren Fragen eine statistisch signifikante Abnahme der Leistung festgestellt wurde (p<0,001, Tab. 1).⁴

Durch die Aufschlüsselung der Fragen in verschiedene Themengebiete wurden erhebliche Wissensunterschiede sichtbar (Tab. 2).⁵ Die 4. Testrunde, die 10 Wochen nach der Konsensusrunde erfolgte, ergab keine signifikante Verbesserung in der Leistung der Modelle.⁴

Diskussion und Ausblick

Die Studien verdeutlichen, dass große Sprachmodelle wie ChatGPT-4 und Bing AI bereits jetzt in der Lage sind, Prüfungen im Bereich der Urologie zu bestehen. Dennoch erreichen die LLM derzeit mit Fehlerraten von 19% bis 42% nicht das erforderliche Niveau an urologischem Verständnis für eine effektive Ausbildung. Dies verdeutlicht, dass die Modelle, obwohl sie teilweise beeindruckende Leistungen erbringen, noch nicht die Genauigkeit und Zuverlässigkeit bieten, die in der medizinischen Ausbildung und Praxis erforderlich sind. Besonders komplexe Fragen stellen eine erhebliche Herausforderung dar und führen zu einem signifikanten Leistungsabfall der Modelle. Die erheblichen Wissensunterschiede auf den verschiedenen Themenuntergebieten unterstreichen die Notwendigkeit einer gezielten Weiterentwicklung und Schulung der Modelle, um ihre Leistung über alle Themen hinweg zu verbessern. Weiters bieten die Ergebnisse wichtige Einblicke in die aktuelle Einschränkung der adaptiven Lernfähigkeit von LLM, da sie ausschließlich aus ihren ursprünglichen Trainingsdaten Antworten generieren können. Dies betont die Bedeutung fortlaufender Updates, kontinuierlichen Trainings und aktiver Wartung von LLM, damit sie als zuverlässige Werkzeuge für den Erwerb medizinischen Wissens dienen können.

Betrachtet man die Ergebnisse anderer rezent veröffentlichter Studien, in denen LLM zu verschiedenen medizinischen Prüfungen befragt wurden, lassen sich folgende Schlüsselfaktoren definieren, die die Leistung von LLM beeinflussen:

1. Umfang der Trainingsdaten: Modelle, die mittels umfassender medizinischer Literatur und Ressourcen trainiert wurden, zeigen eine überlegene Leistung (z.B. „Med PaLM-2“ oder „Uro-Chat“).^6–12

2. Fragenkomplexität: Einfache Fragen führen zu höheren Genauigkeitsraten, während komplexe, nuancierte Fragen größere Herausforderungen darstellen.^6,10,12–21

3. Mehrsprachigkeit: Die Qualität der Leistung in anderen Sprachen als Englisch variiert.^8,12,13,20

4. Spezifisches medizinisches Wissen: Die Leistung variiert erheblich, wenn spezifisches Wissen in Unterbereichen erforderlich ist.^{9,10,12,14–16,19,22,23}

5. Zuverlässigkeit und Reproduzierbarkeit: Es ist wichtig, die Zuverlässigkeit und Reproduzierbarkeit der generierten Antworten kritisch zu bewerten und weiter zu erforschen, um die Verbreitung von Fehlinformationen zu vermeiden.^{9,14,17,18,23}

Zukünftig hätte KI das Potenzial, viel Zeit zu sparen, indem sie personalisierte Lernerfahrungen anbieten könnte, die an individuelle Stile und Geschwindigkeiten angepasst sind. Darüber hinaus könnte sie beim Navigieren durch umfangreiche medizinische Literatur behilflich sein. Sie könnte den Wissenserwerb erleichtern und beschleunigen und für die Erstellung von Lernmaterialien oder Bildungspräsentationen nützlich sein. Diese gesteigerte Effizienz würde es medizinischen Fachkräften ermöglichen, sich mehr auf das Verständnis und die Anwendung von Wissen zu konzentrieren, anstatt viel Zeit mit der Informationsbeschaffung zu verbringen. Unumgänglich ist aber eine spezialisierte, zugeschnittene medizinische Ausbildung der LLM, bevor diese Werkzeuge zuverlässig zur Aneignung von fachspezifischem Wissen empfohlen und effektiv in die medizinische Ausbildung integriert werden können. Die zu erwartenden Vorteile sind beträchtlich, da LLM durch ihre Fähigkeit, umfangreiche Datenmengen schnell zu verarbeiten und relevante Informationen bereitzustellen, die Lernprozesse von Medizinstudenten und Fachkräften erheblich verbessern könnten. Gleichzeitig müssen aber ethische Überlegungen, die Sicherstellung der Qualität der bereitgestellten Informationen und das rationale Denken hinter den von LLM generierten Antworten im Vordergrund stehen und weiter untersucht werden, um eine verantwortungsvolle und effektive Nutzung dieser Technologie gewährleisten zu können.

Studien zeigten, dass LLM im Vergleich zu anderen sozialen Medien wie TikTok, YouTube und Instagram eine zuverlässigere Quelle für medizinische Informationen zu sein scheinen.²⁴ In einer Querschnittsanalyse wurden Genauigkeit, Verständlichkeit und Anwendbarkeit der von vier verschiedenen LLM generierten Antworten in Bezug auf die fünf häufigsten Suchanfragen zu Prostata-, Blasen-, Nieren- und Hodenkrebs gemäß Google Trends bewertet.²⁵ Ihre Ergebnisse zeigen, dass KI-Chatbots zwar genaue und qualitativ hochwertige Antworten liefern können, die Verwendung komplexer medizinischer Terminologie jedoch eine Herausforderung für Benutzer ohne medizinischen Hintergrund darstellen kann. Die Informationsqualität wurde mit 80% bewertet, ohne dass Fehlinformationen gemeldet wurden.

Bei einer Untersuchung zur aktuellen Nutzung von LLM unter Urolog:innen gaben 47,7% der befragten 456 Ärzt:innen an, ChatGPT oder andere LLM in ihrer akademischen Praxis zu verwenden.²⁶ Etwa 19,8% integrierten KI in ihre klinische Arbeit. Allerdings äußerten 62,2% ethische Bedenken, und 53% sahen Einschränkungen bei der Anwendung von ChatGPT. Häufig genannte Probleme waren Ungenauigkeiten, mangelnde Spezifität und variierende Antworten.²⁶

Die WHO hat einen ethischen Rahmen für die Nutzung von LLM im Gesundheitswesen und in der Medizin entwickelt, der festlegt, dass die Kontrolle des Menschen über medizinische Entscheidungen und die Autorität der Anbieter unter Verwendung gültiger Patienteninformationen entscheidend sind. Der Schutz der Datenprivatsphäre und die Einholung einer informierten Zustimmung sind ebenfalls unerlässlich. Öffentliche Konsultationen und Debatten, die ausreichende Informationen bieten, sollten jedem Entwurf oder Einsatz eines KI-Systems vorausgehen.²⁷ Wenn diese ethischen Standards eingehalten werden können und wenn LLM technisch verbessert oder so trainiert werden können, dass sie stets aktuelle und leitlinienkonforme medizinische Kenntnisse demonstrieren, wird die KI eine entscheidende Rolle in der Medizin und Urologie spielen. Es liegt ein spannender Weg vor uns und jeder Schritt bringt uns dem Ziel näher, das volle Leistungsvermögen der KI zu realisieren und es vor allem auch für uns gewinnbringend zu nutzen.

Literatur: