KI in der Psychiatrie: Was ein neuer Benchmark über Stärken und Schwächen verrät

Wenn es um künstliche Intelligenz in der psychischen Gesundheit geht, stehen sich zwei Erzählungen gegenüber. Die eine sagt, die Modelle seien praktisch am Ziel. Die andere sagt, sie seien gefährlicher Unfug. Beide Positionen kommen selten mit Zahlen.

Eine im April 2026 in npj Digital Medicine veröffentlichte Arbeit liefert diese Zahlen. Sie ist frei zugänglich und interessant weniger wegen der Bestenliste als wegen der Frage, wo die Modelle scheitern.

Was der Benchmark misst

Bisherige Bewertungen stützten sich häufig auf Interviewtranskripte, Beiträge aus sozialen Netzwerken oder künstlich erzeugte Dialoge. Alle drei Quellen haben dasselbe Problem: Sie bilden die Komplexität echter diagnostischer Überlegungen kaum ab.

PsychiatryBench geht einen anderen Weg. Die Aufgaben stammen ausschließlich aus anerkannten psychiatrischen Lehrbüchern und Fallsammlungen, ausgewählt und annotiert von approbierten Psychiatern. Herausgekommen sind 5.188 Aufgaben in elf Kategorien, von der Diagnosestellung über Behandlungsplanung und Verlaufsführung bis zu Prüfungsformaten.

Getestet wurden fünfzehn Modelle, darunter aktuelle Systeme von Anthropic, OpenAI, Google und DeepSeek sowie speziell auf Medizin trainierte Modelle wie MedGemma.

Wo die Modelle stark sind

An der Spitze liegen zwei Systeme mit Durchschnittswerten von rund 84 Prozent, gefolgt von einem dichten Feld. Besonders gut fallen die Ergebnisse dort aus, wo längere, zusammenhängende Überlegungen gefragt sind: bei mehrschrittigen Fallverläufen und beim strukturierten Vorgehen in der Abklärung erreichen die besten Modelle Werte von über neunzig Prozent.

Das passt zu einem Muster, das sich auch andernorts zeigt. Sprachmodelle sind gut darin, vorhandene Information zu ordnen, zusammenzufassen und in eine nachvollziehbare Form zu bringen.

Wo sie scheitern

Die aufschlussreichste Zahl der Arbeit ist eine niedrige. Bei der Aufgabe, konkrete Störungsbilder zu klassifizieren, erreichte selbst das beste Modell nur etwa 45 Prozent exakte Übereinstimmung mit den Expertenlabels.

Der Grund ist kein technischer Mangel, sondern liegt in der Sache: Diese Aufgabe ist mehrfachklassifikatorisch angelegt, und überlappende Symptome sowie Komorbiditäten machen die Kategoriengrenzen unscharf. Genau das kennen Sie aus dem Alltag. Wo eine Anpassungsstörung endet und eine depressive Episode beginnt, ist auch unter Kollegen nicht immer unstrittig.

Das ist eine wichtige Präzisierung für alle, die über automatische Codierung nachdenken: Modelle sind brauchbar darin, Vorschläge zu machen und formale Fehler zu finden. Bei der Priorisierung zwischen mehreren zutreffenden Diagnosen sind sie es nicht. Wir haben diesen Punkt im Beitrag zur automatischen ICD-10-Codierung ausgeführt, hier ist er nun mit Zahlen unterlegt.

Ein zweiter Befund: Bei Aufgaben, die eine feine Unterscheidung zwischen klinisch ähnlichen Optionen verlangen, schwankten die Ergebnisse zwischen den Modellen erheblich. Manche reagierten zudem messbar auf die bloße Umstellung des Frageformats bei gleichem Inhalt.

Der Befund zu Spezialmodellen

Erwartbar wäre gewesen, dass medizinisch spezialisierte Modelle die Allzweckmodelle auf psychiatrischen Aufgaben schlagen. Das Gegenteil trat ein. Die Spezialmodelle waren bei wissensintensiven Aufgaben wie Prüfungsfragen und feinkörniger Klassifikation im Vorteil, verloren aber deutlich bei offenen Aufgaben, die Abstraktion und das Anpassen von Hypothesen an neue Information verlangen.

Die Autoren schließen daraus, dass der aussichtsreichere Weg darin bestehen dürfte, leistungsfähige allgemeine Modelle an fachliche Anforderungen anzupassen, statt immer engere Spezialmodelle zu bauen.

Die Einschränkungen, die die Autoren selbst nennen

Der ehrlichste Teil der Arbeit ist ihr Limitationsabschnitt, und er ist für die Einordnung wichtiger als die Bestenliste.

Die Quellen sind öffentlich. Die verwendeten Lehrbücher dürften in den Trainingsdaten der getesteten Modelle enthalten sein. Ein Teil der Leistung könnte also auf Erinnerung statt auf Schlussfolgerung beruhen. Die Autoren benennen das ausdrücklich.

Lehrbuchfälle sind zu sauber. Sie sind didaktisch aufbereitet, vollständig und eindeutig. Reale Fälle sind lückenhaft, widersprüchlich und verändern sich. Die Werte überschätzen die Verlässlichkeit im Alltag daher vermutlich.

Psychotherapie ist ausgeklammert. Der Benchmark deckt Erwachsenenpsychiatrie ab. Psychotherapeutische Prozesse, narrative Fallkonzeption und therapeutische Beziehung sind ausdrücklich nicht Gegenstand. Auch Kinder- und Jugendlichenpsychiatrie fehlt.

Die Bewertung ist teilweise zirkulär. Offene Antworten wurden von einem weiteren Sprachmodell bewertet, das selbst unter den getesteten Systemen war. Die Autoren halten eine unabhängige Bewertung durch Fachpersonen weiterhin für notwendig.

Akutsituationen fehlen. Hochakute Konstellationen, etwa akute Suizidalität oder Situationen, die eine Unterbringung erfordern, sind nicht systematisch abgebildet.

Was die Autoren daraus ableiten

Die Schlussfolgerung der Arbeit ist bemerkenswert zurückhaltend und deshalb brauchbar. Für den heutigen Stand sehen die Autoren eine sinnvolle Rolle für Sprachmodelle in Ausbildung, Dokumentation und vorläufiger Fallkonzeption. Ausdrücklich nicht in unbeaufsichtigter Entscheidungsfindung bei hohem Risiko, also etwa bei Krisenintervention oder der Einleitung einer Medikation.

Diese Grenzziehung deckt sich mit dem, was sich in der Praxis abzeichnet. Die Aufgaben, bei denen Modelle verlässlich sind, sind genau die, bei denen es um Ordnen und Formulieren vorhandener Information geht. Die Aufgaben, bei denen sie unzuverlässig sind, sind die, bei denen klinisches Urteil den Ausschlag gibt.

Was das für die eigene Praxis heißt

Drei praktische Konsequenzen.

Prüfen Sie, was das System vorschlägt, nicht ob es plausibel klingt. Sprachliche Flüssigkeit sagt nichts über fachliche Richtigkeit. Ein gut formulierter falscher Vorschlag ist schwerer zu erkennen als ein holpriger.

Trauen Sie den Systemen dort, wo sie messbar gut sind. Strukturieren, Zusammenfassen, formale Vollständigkeit prüfen. Das sind reale Zeitgewinne ohne fachliches Risiko.

Behalten Sie das Urteil bei sich. Diagnose, Indikation und Risikoeinschätzung sind Ihre Entscheidung, und zwar nicht nur haftungsrechtlich, sondern weil die Daten zeigen, dass die Modelle genau hier am schwächsten sind.

psynex ist auf diese Arbeitsteilung ausgelegt. Die Software erzeugt aus Ihrer Sitzung eine strukturierte Dokumentation und macht Vorschläge, die Sie prüfen und freigeben. Die fachliche Entscheidung bleibt an der Stelle, an die sie gehört. Kostenlos testen und selbst beurteilen.