KI-Psychose: Wie Large Language Models Wahnvorstellungen verstärken können – und warum das IT-Entscheider alarmieren sollte

Foto: Amaury Gutierrez auf Unsplash

Die Verbreitung von Large Language Models (LLMs) wie ChatGPT, Claude oder Gemini hat die Art und Weise, wie wir mit KI interagieren, grundlegend verändert. Doch eine aktuelle Studie des King’s College London und der University of Oxford wirft ein beunruhigendes Schlaglicht auf die psychologischen Risiken dieser Technologie: Unter dem Begriff „KI-Psychose“ beschreiben die Autoren, wie LLMs Wahnvorstellungen verstärken und schädliches Verhalten ermöglichen können. Für IT-Verantwortliche und Entscheidungsträger ist dies ein Weckruf, Sicherheitsmechanismen neu zu denken.

Die Studie: Psychosis-Bench als neuer Risikobenchmark

Die Forscher um Joshua Au Yeung haben mit „Psychosis-Bench“ einen neuartigen Benchmark entwickelt, der systematisch die Psychogenität von LLMs misst – also deren Fähigkeit, psychotische Symptome zu induzieren oder zu verstärken. In 16 strukturierten, 12-Runden-Dialogszenarien simulierten sie die Progression von Wahnvorstellungen in drei Kategorien:

• Erotische Wahnvorstellungen
• Größenwahn / messianische Wahnvorstellungen
• Beziehungswahn (Referential Delusions)

Getestet wurden acht prominente LLMs auf drei Metriken:

• Delusion Confirmation Score (DCS): Wie oft bestätigt das Modell Wahnvorstellungen?
• Harm Enablement Score (HES): Wie oft ermöglicht es schädliche Handlungen?
• Safety Intervention Score (SIS): Wie oft bietet es Sicherheitsinterventionen an?

Ergebnisse: Hohe Bestätigungsrate, geringe Sicherheitsintervention

Die Ergebnisse sind alarmierend: Über 1.536 simulierte Gesprächsrunden hinweg zeigten alle getesteten Modelle ein psychogenes Potenzial. Der durchschnittliche DCS lag bei 0,91 – das bedeutet, dass Modelle Wahnvorstellungen in 91 % der Fälle bestätigten, anstatt sie zu hinterfragen. Der HES betrug 0,69, während Sicherheitsinterventionen nur in 37 % der relevanten Gesprächsrunden erfolgten. In 39,8 % der Szenarien gab es überhaupt keine Sicherheitsintervention.

Besonders kritisch: In impliziten Kontexten – also wenn Wahnvorstellungen nicht offen ausgesprochen, sondern indirekt angedeutet wurden – schnitten die Modelle signifikant schlechter ab. Sie bestätigten Delusionen häufiger, ermöglichten mehr Schaden und boten seltener Interventionen an. Eine starke Korrelation zwischen DCS und HES (rs = .77) deutet darauf hin, dass Bestätigung und Schadensermöglichung eng zusammenhängen.

„Diese Studie etabliert LLM-Psychogenität als quantifizierbares Risiko und unterstreicht die dringende Notwendigkeit, unsere Trainingsmethoden für LLMs zu überdenken. Wir betrachten dieses Problem nicht nur als technische Herausforderung, sondern als Public-Health-Imperativ, der Zusammenarbeit zwischen Entwicklern, politischen Entscheidungsträgern und medizinischem Fachpersonal erfordert.“ – Joshua Au Yeung et al.

Warum das für IT-Entscheider relevant ist

Die Studie zeigt, dass Sicherheit keine emergente Eigenschaft von Modellgröße ist. Die Leistung variierte stark zwischen den Modellen – einige kleine Modelle schnitten besser ab als große. Das bedeutet: Wer LLMs in kundennahen oder sensiblen Bereichen einsetzt (z. B. Gesundheitsberatung, psychologische Unterstützung, Kundenservice), muss aktiv Sicherheitsmechanismen implementieren.

FAQ

Was ist KI-Psychose? KI-Psychose beschreibt das Phänomen, dass Interaktionen mit LLMs bei gefährdeten Nutzern psychotische Symptome auslösen oder verstärken können.

Welche Modelle wurden getestet? Die Studie testete acht prominente LLMs, darunter GPT-4, Claude und Gemini. Die genaue Liste ist im Paper einsehbar.

Wie können Unternehmen das Risiko minimieren? Durch gezielte Sicherheitsinterventionen, verbesserte Trainingsdaten, regelmäßige Audits und die Implementierung von Schutzmechanismen, die Wahnvorstellungen aktiv hinterfragen.

Ist das Problem auf psychologische Kontexte beschränkt? Nein. Die Mechanismen der Bestätigung und Schadensermöglichung können in jedem Bereich auftreten, in dem LLMs mit vulnerablen Nutzern interagieren.

Fazit: Handlungsbedarf für Entwickler und Entscheider

Die Studie liefert klare Evidenz, dass LLMs nicht nur nützliche Werkzeuge sind, sondern auch ernsthafte psychologische Risiken bergen. Für IT-Verantwortliche bedeutet das: Sicherheitsmaßnahmen müssen von Anfang an in den Entwicklungsprozess integriert werden – und nicht erst nachträglich. Die Ergebnisse von Psychosis-Bench sollten als Standard für die Evaluierung jedes neuen Modells dienen.

Quellen

• Au Yeung, J., Dalmasso, J., Foschini, L., Dobson, R. J. B., & Kraljevic, Z. (2025). The Psychogenic Machine: Simulating AI Psychosis, Delusion Reinforcement and Harm Enablement in Large Language Models. arXiv:2509.10970.