In einer aktuellen Studie wurde erstmals die Genauigkeit von ChatGPT bei der Beantwortung urologischer Fragestellungen anhand eines validierten Fragebogens zur Patientenberatung (Brief DISCERN) untersucht. Dazu befragten die Forschenden ChatGPT jeweils dreimal zu insgesamt 13 urologischen, leitliniengestützten Problemstellungen.
Im Ergebnis zeigte sich, dass 60 % (115/195) der ChatGPT-Antworten als „angemessen“ zu bewerten waren. Es gab jedoch erhebliche Unterschiede zwischen den Antworten auf dieselbe Frage. Besonders problematisch bewerteten die Forschenden den Umgang mit Quellen und Referenzierungen durch ChatGPT. Standardmäßig gebe das Sprachmodell nämlich gar keine Referenzen an. Nach Aufforderung hatten rund 92 % der Antworten mindestens eine falsche oder fehlinterpretierte Quellenangabe.
Nach Einschätzung der Forschenden liefere ChatGPT zwar in mehr als der Hälfte der Fälle angemessene Antworten auf urologische Fragen, jedoch würden klinische Versorgungsrichtlinien falsch interpretiert, wichtige Kontextinformationen vernachlässigt, Quellen verschleiert und unangemessene Verweise zitiert. „Große Sprachmodelle bieten viele Chancen auch in der Medizin, doch sollten Benutzer:innen noch immer vorsichtig sein, gerade wenn es um gesundheitsbezogene Beratungsleistungen geht. Aus unserer Sicht ist ein zusätzliches Training dringend erforderlich, bevor solche Modell zuverlässig von Patient:innen und Ärzt:innen im Alltag genutzt werden können“, so das Fazit der Studienautor:innen.
Es sei vor allem notwendig, KI-Anwendungen im Gesundheitswesen kontinuierlich weiterzuentwickeln und zu verbessern – insbesondere auch im Fachbereich Urologie. Denn nur so ließe sich langfristig sicherstellen, dass die Antworten von ChatGPT und anderen Sprachmodellen den hohen Standards der medizinischen Versorgung gerecht werden können.
Quelle: DGU // sowie Whiles BB et al. Caitopm! AI Bot Has Entered the Patient Chat: ChatGPT Has Limitations in Providing Accurate Urologic Healthcare Advice. Urology 2023; S0090-4295(23)00597–6