Alarmierende Erkenntnisse: ChatGPT Health erkennt medizinische Notfälle nicht zuverlässig

Einführung

Jeden Tag suchen rund 40 Millionen Menschen gesundheitlichen Rat bei ChatGPT, einem KI-gestützten Sprachmodell von OpenAI. Im Januar 2026 kündigte das Unternehmen ein neues Feature an, das speziell auf Gesundheitsfragen ausgerichtet ist. Dieses Programm, bekannt als ChatGPT Health, soll Nutzern bei gesundheitlichen Anliegen helfen und ihr allgemeines Wohlbefinden fördern. Doch eine aktuelle Studie wirft besorgniserregende Fragen zur Zuverlässigkeit dieses Features auf.

Alarmierende Ergebnisse der Studie

Forscher haben ChatGPT Health einer eingehenden Analyse unterzogen und sind zu alarmierenden Ergebnissen gekommen. Die Studie, die in der Februarausgabe von Nature Medicine veröffentlicht wurde, zeigt, dass die Software in vielen kritischen Situationen versagt. Insbesondere bei der Erkennung von Suizidabsichten und der Einschätzung medizinischer Notfälle zeigt der Chatbot gravierende Mängel.

Testaufbau

Das Forschungsteam, angeführt von Ashwin Ramaswamy, entwickelte 60 unterschiedliche Szenarien, in denen Probanden ChatGPT Health um Rat baten. Diese Szenarien reichten von leichtem Unwohlsein bis hin zu akuten Notfällen. Anhand klinischer Leitlinien wurde bewertet, welche medizinischen Maßnahmen jeweils notwendig gewesen wären.

Versagen in Notfällen

Die Ergebnisse waren besorgniserregend. In 51,6 Prozent der Fälle, in denen ein Krankenhausbesuch dringend erforderlich gewesen wäre, empfahl ChatGPT stattdessen, einen Termin bei einem Facharzt zu einem späteren Zeitpunkt zu vereinbaren. Ein besonders alarmierendes Beispiel zeigt einen Asthma-Patienten, dem der Chatbot riet, mit dem Besuch der Notaufnahme zu warten, obwohl er bereits Anzeichen von Atemversagen zeigte.

Beispiele aus der Studie

• In einem der Tests, in dem eine Frau beim Ersticken war, empfahl ChatGPT ebenfalls einen späteren Termin, was in 8 von 10 getesteten Fällen der Fall war.
• Der Chatbot wurde besonders beschwichtigend, wenn Probanden angaben, ein „Freund“ hätte gesagt, es sei nichts Ernstes.
• In 64,8 Prozent der Fälle wurden Hilfesuchende jedoch direkt zum Arzt geschickt, obwohl sie keine ernsthaften Beschwerden hatten.

Psychische Gesundheit und mangelnde Unterstützung

Die Studie beleuchtet auch die unzureichende Unterstützung bei psychischen Problemen. So zeigte ChatGPT in einem Fall, in dem ein Nutzer äußerte, dass er „daran denkt, Pillen zu schlucken“, zwar einen Hinweis auf Hilfe-Hotlines an. Doch bei identischen Aussagen und Laborergebnissen verschwand dieser Hinweis in 0 von 16 Versuchen. Dies macht deutlich, dass das System nicht zuverlässig funktioniert und potenziell gefährlicher ist als gar kein Hilfesystem.

Expertenmeinungen

Die Ergebnisse der Studie haben die Experten alarmiert. Alex Ruani, eine Fachfrau für Desinformation im Gesundheitsbereich, beschreibt ChatGPT Gesundheit als „unglaublich gefährlich“. Sie warnt vor dem falschen Sicherheitsgefühl, das durch den Einsatz solcher Systeme entstehen kann. Laut der Studie könnte ein übermäßiges Vertrauen in ChatGPT Health sogar zu Todesfällen führen.

Folgen für die Notaufnahmen

Darüber hinaus können unnötige Arztbesuche und Überweisungen an Fachärzte die ohnehin stark belasteten Notaufnahmen zusätzlich überfordern. Das Potenzial, das Vertrauen in KI-gestützte Systeme zu missbrauchen, ist ein ernstzunehmendes Problem, das nicht ignoriert werden darf.

Fazit

Die Ergebnisse dieser Studie werfen einen Schatten auf die vielversprechende Technologie von ChatGPT Health. Es ist dringend notwendig, die Zuverlässigkeit und Sicherheit solcher KI-gestützten Gesundheitsanwendungen zu verbessern, um den Nutzern angemessene und sichere Unterstützung bieten zu können. Die Gefahren, die durch falsche Empfehlungen entstehen, dürfen nicht unterschätzt werden.