Gefahren von ChatGPT Health: Schwächen bei medizinischen Notfällen und Suizidprävention

Risiken und Schwächen von ChatGPT Health bei medizinischen Notfällen

Im Januar 2026 führte OpenAI "ChatGPT Health" ein, einen KI-gestützten Service, der als erste Anlaufstelle für Gesundheitsfragen konzipiert ist. Die korrekte Bewertung der Schwere und Dringlichkeit medizinischer Probleme ist entscheidend für die Wirksamkeit eines solchen Systems. Die Empfehlungen reichen von "Zuhause auskurieren" über "Arzt innerhalb der nächsten Wochen aufsuchen" bis hin zur sofortigen Behandlung in einer Notaufnahme.

Studie zur Verlässlichkeit der KI-basierten Triage

Eine aktuelle Studie, veröffentlicht im Fachjournal Nature Medicine, hat die Zuverlässigkeit und Sicherheit dieser KI-gestützten Triage untersucht und dabei besorgniserregende Mängel festgestellt.

Um die Genauigkeit der KI realitätsnah zu überprüfen, entwickelten Mediziner 60 detaillierte klinische Fallbeispiele aus 21 Fachbereichen. Diese Fälle wurden systematisch variiert; die Forscher änderten Merkmale wie Geschlecht und Hautfarbe fiktiver Patienten, simulierten Transportprobleme und integrierten psychologische Faktoren wie verharmlosende Aussagen von Angehörigen. Insgesamt wurden 960 Anfragen an ChatGPT Health gestellt.

Ergebnisse der Studie

Die Auswertung der Empfehlungen der KI im Vergleich zu einem ärztlichen Expertenteam ergab ein gemischtes Bild:

Auch Lesen Die Gefahren des Arztgeheimnisses im Darknet: Ein Blick hinter die Kulissen

• Medizinische Alltagsprobleme: Bei mittleren Schweregraden stimmten die Empfehlungen der KI meist mit denen der Ärzte überein.
• Unter-Triage: In 51,6 Prozent der echten medizinischen Notfälle bewertete die KI die Situation als zu harmlos. Beispielsweise empfahl sie bei schwerer diabetischer Entgleisung oder akutem Asthma, einen Arzt innerhalb der nächsten 24 bis 48 Stunden aufzusuchen, anstatt sofort in die Notaufnahme zu gehen.
• Über-Triage: Fast 65 Prozent der Fälle, die laut medizinischen Leitlinien problemlos zu Hause beobachtet werden könnten, wurden als behandlungsbedürftig eingestuft.

Die fehlerhaften Einstufungen führen zu einer potenziellen Überlastung der Ressourcen im Gesundheitssystem, wobei insbesondere die Unter-Triage gefährlich sein kann, da Patienten oft zu spät die notwendige medizinische Hilfe erhalten.

Einfluss psychologischer Faktoren auf die Triage

Die Studie untersuchte auch, wie psychologische Effekte die KI-basierte Ersteinschätzung beeinflussen. ChatGPT Health zeigte sich anfällig für den sogenannten „Ankereffekt“. Wenn in einem Grenzfall erwähnt wurde, dass Freunde die Symptome nicht besorgniserregend einstuften, neigte die KI dazu, eine weniger dringliche Einschätzung abzugeben (Odds Ratio von 11,7).

Demografische Faktoren wie Hautfarbe oder Geschlecht hatten jedoch keinen statistisch signifikanten Einfluss auf die Triage-Empfehlungen.

Auch Lesen Men's Health CAMP – Ihr Weg zu mehr Fitness, Gesundheit und Lebensfreude

Umgang mit psychischen Notlagen

Ein weiterer Schwerpunkt der Untersuchung war, wie die KI mit psychischen Krisen umgeht. ChatGPT Health zeigt einen Warnmechanismus bei Suizidgedanken, der einen Hinweis auf verfügbare Hilfe und Krisenhotlines einblendet. Die Studie fand jedoch Mängel in diesem Schutzmechanismus.

Während dieser zuverlässig bei vagen, passiven Äußerungen zu Suizidgedanken funktioniert, blieb das Warnbanner oft aus, wenn ein fiktiver Patient einen konkreten Suizidplan äußerte. In solchen Fällen konzentrierte sich die KI auf die körperlichen Laborwerte und erkannte den akuten psychischen Notfall nicht.

Empfehlungen für den zukünftigen Einsatz von KI im Gesundheitswesen

Die Autoren der Studie empfehlen, dass KI-Systeme, die als erster Kontaktpunkt für medizinische Einschätzungen dienen, strengen Prüfungen unterzogen werden sollten. Anbieter sollten ihre Systeme so gestalten, dass sie keine ärztlichen Diagnosen ersetzen, da viele Menschen möglicherweise einen Arztbesuch aufschieben, wenn die KI ihnen versichert, dass kein ernsthaftes Problem vorliegt.

Auch Lesen Xtrackers MSCI World Health Care ETF 1C verzeichnet Rückgänge

Die Wissenschaftler schlagen vor, dass KI-Tools im Gesundheitsbereich vor der breiten Veröffentlichung ähnliche externe Sicherheits- und Zulassungsprüfungen durchlaufen sollten wie traditionelle Medizinprodukte, um den Patientenschutz zu gewährleisten.

Fazit: Die Studie verdeutlicht die Notwendigkeit, die Funktionen von KI-Systemen im Gesundheitswesen kritisch zu hinterfragen und sicherzustellen, dass sie verlässlich und sicher arbeiten, insbesondere in kritischen Situationen.