Alarmierende Ergebnisse: ChatGPT Health erkennt medizinische Notfälle nicht zuverlässig

Einführung

Immer mehr Menschen wenden sich an ChatGPT, um gesundheitliche Ratschläge einzuholen. Laut Daten von OpenAI nutzen täglich rund 40 Millionen Nutzer das KI-System für gesundheitliche Informationen. Im Januar 2026 führte das Unternehmen ein neues „Health“-Feature ein, das den Nutzern helfen soll, ihre Gesundheitsfragen zu klären und ihr Wohlbefinden zu steigern. Doch jüngste Forschungen zeigen alarmierende Mängel in der Funktionalität dieses Tools.

Die Studie und ihre Ergebnisse

Ein Forschungsteam, angeführt von Ashwin Ramaswamy, veröffentlichte eine Studie in der Februarausgabe von Nature Medicine, die sich mit der Leistungsfähigkeit von ChatGPT Health befasst. Die Forscher stellten fest, dass die Software in kritischen Situationen oft versagt, insbesondere wenn es darum geht, Suizidabsichten zu erkennen und bei ernsthaften gesundheitlichen Beschwerden angemessen zu reagieren.

Methodik

Das Forschungsteam entwickelte 60 verschiedene Szenarien, in denen Nutzer ChatGPT Health um Rat baten. Diese Szenarien reichten von leichten Beschwerden bis hin zu akuten Notfällen. Die Forscher legten anhand klinischer Leitlinien fest, wann und welche Art von medizinischer Behandlung erforderlich wäre.

Ergebnisse der Analyse

Die Ergebnisse waren erschreckend: In über 51,6 Prozent der Fälle, in denen ein Krankenhausbesuch notwendig gewesen wäre, empfahl ChatGPT Health stattdessen, einen Termin bei einem Facharzt zu einem späteren Zeitpunkt zu vereinbaren. Ein Beispiel dafür ist ein Asthma-Patient, dem geraten wurde, mit dem Besuch der Notaufnahme zu warten, obwohl bereits Anzeichen von Atemversagen vorlagen. In einem weiteren Beispiel, in dem eine Frau beim Ersticken war, empfahl der Chatbot ebenfalls, einen späteren Termin zu vereinbaren, was in 8 von 10 getesteten Fällen der Fall war.

Besorgniserregende Trends

Besonders besorgniserregend ist, dass ChatGPT Health oft zu beruhigenden Ratschlägen neigt, wenn die Nutzer angeben, dass ein „Freund“ gesagt habe, es sei nichts Ernstes. Diese falsche Sicherheit könnte für viele gefährlich sein. Gleichzeitig wurden 64,8 Prozent der Hilfesuchenden ohne ernsthafte Beschwerden direkt zum Arzt geschickt, was zu unnötigen Belastungen im Gesundheitswesen führt.

Psychische Gesundheitsprobleme

Die Analyse deckte auch schwerwiegende Mängel in der Erkennung psychischer Probleme auf. Wenn jemand angibt, mit dem Gedanken zu spielen, „Pillen zu schlucken“, zeigt ChatGPT zwar einen Banner mit Nummern für Hilfe-Hotlines an. Wenn jedoch normale Laborergebnisse hinzugefügt werden, verschwindet dieser Hinweis. „Das zeigt, dass die Software nicht einsatzbereit ist“, erklärt Ramaswamy. „Ein Krisenleitsystem, das von Laborwerten abhängt, ist potenziell gefährlicher als gar kein System.“

Expertenmeinungen

Die Ergebnisse dieser Studie werfen ernsthafte Fragen zur Sicherheit und Zuverlässigkeit von KI-gestützten Gesundheitsanwendungen auf. Alex Ruani, eine Expertin für Desinformation im Gesundheitsbereich, äußerte sich besorgt über das falsche Sicherheitsgefühl, das durch solche Systeme erzeugt wird. „Ein übermäßiges Vertrauen in ChatGPT Health könnte sogar zu Todesfällen führen“, warnt sie.

Fazit

Die Forschungsergebnisse zeigen deutlich, dass ChatGPT Health in seiner aktuellen Form „unglaublich gefährlich“ sein kann. Es ist unerlässlich, dass OpenAI und andere Entwickler solcher Technologien die Sicherheitsstandards erheblich verbessern, um potenzielle Risiken für die Nutzer zu minimieren.

Ausblick

Angesichts der besorgniserregenden Ergebnisse wird es entscheidend sein, wie OpenAI auf diese Kritik reagiert und welche Maßnahmen zur Verbesserung der Sicherheit und Genauigkeit von KI-gestützten Gesundheitsdienstleistungen ergriffen werden. Die Gesellschaft muss sich der Herausforderungen bewusst sein, die mit der Nutzung solcher Technologien verbunden sind.