27 Ärzte, fast 10.000 Bewertungen: Was eine verblindete Studie über KI-Antworten zeigt

Die meisten Bewertungen von KI in der Medizin messen Durchschnitte. Für die Frage, ob ein System im Versorgungsalltag tragbar ist, sind Durchschnitte aber der falsche Maßstab. Entscheidend ist, wie schlecht die schlechteste Antwort sein kann.

Eine im April 2026 in Communications Medicine erschienene Arbeit hat beides erhoben. Sie ist frei zugänglich und methodisch ungewöhnlich sorgfältig.

Der Aufbau

Eine Arbeitsgruppe an einem Klinikum in Shenzhen entwickelte ein Bewertungsverfahren mit drei Besonderheiten. Erstens wurden keine Prüfungsfragen verwendet, sondern echte Fälle aus dem Klinikinformationssystem, ergänzt um strukturierte Prüfungsszenarien. Insgesamt 685 Fälle aus dreizehn Fachgebieten. Zweitens bewerteten ausschließlich qualifizierte Fachärzte, siebenundzwanzig an der Zahl mit durchschnittlich rund 26 Jahren Berufserfahrung. Drittens war die Bewertung verblindet: Welche Antwort von welchem Modell stammte, war nicht erkennbar, und typische Erkennungsmerkmale wie Emojis oder auffällige Formatierung wurden entfernt.

Sieben Modelle wurden getestet, alle innerhalb weniger Wochen Anfang 2025 veröffentlicht, damit kein System einen Generationsvorteil hatte. Daraus entstanden 4.795 Antworten und 9.856 einzelne Bewertungen.

Die Skala ist der Clou

Statt richtig oder falsch zu vergeben, arbeitete die Gruppe mit einer zehnstufigen Skala, die an Karrierestufen von Ärzten geknüpft ist. Grob gesagt: Werte unter zwei stehen für medizinisch nicht ausgebildet, Werte um vier bis fünf für Berufsanfänger, Werte um sechs für Ärzte mit drei bis sechs Jahren Erfahrung, Werte um acht für erfahrene Fachärzte, Werte über neun für ausgewiesene Experten.

Das macht die Ergebnisse verständlich, ohne sie zu verharmlosen. Man weiß sofort, was eine Sechs bedeutet.

Das Durchschnittsergebnis

In den Rohwerten lag ein Modell von Google vorn. Nach statistischer Bereinigung um Störfaktoren, insbesondere um die Antwortlänge und um Unterschiede zwischen den Bewertern, führte ein anderes System mit einem Mittelwert von 6,36. Das entspricht auf der verwendeten Skala einem Arzt mit etwa drei bis sechs Jahren Berufserfahrung.

Vier der sieben getesteten Modelle lagen signifikant über sechs. Die beiden kleinen, destillierten Varianten fielen deutlich ab.

Der Befund, der wichtiger ist als der Durchschnitt

Über alle Modelle hinweg wurden 7,2 Prozent der Antworten als nicht kompetent eingestuft, also unterhalb des Niveaus eines beginnenden Arztes. Je nach Modell lag diese Quote zwischen etwa drei und neunzehn Prozent.

Das ist die eigentliche Botschaft. Ein System, das im Mittel auf dem Niveau eines Assistenzarztes antwortet, aber in jedem zwanzigsten Fall unter jedem vertretbaren Niveau liegt, ist ohne Kontrolle nicht einsetzbar. Ein guter Durchschnitt ersetzt keine Untergrenze.

Auffällig war außerdem, dass die Fehleranfälligkeit fachgebietsabhängig ist. In der Intensivmedizin, der Neonatologie und der Kinderchirurgie versagten die Modelle häufiger als anderswo.

Vierzig erfundene Fakten

Das Bewertungsgremium dokumentierte vierzig Fälle frei erfundener medizinischer Angaben. Darunter erfundene Medikamente und Dosierungen, erfundene Krankheitsbilder, erfundene Befunde der körperlichen Untersuchung und, am häufigsten, fehlerhafte Bewertungen genetischer Varianten.

Zwei Beispiele aus der Pädiatrie machen das Risiko konkret. In einem Fall empfahl ein Modell ein Antibiotikum in nahezu doppelter leitliniengerechter Dosis. In einem anderen befürwortete ein Modell den Einsatz eines Wirkstoffs bei Minderjährigen, obwohl die nationalen Vorgaben dem widersprechen. In weiteren Fällen erfanden Modelle Familien- und Expositionsanamnesen, die im Fall gar nicht vorkamen.

Die Autoren halten fest, dass Fehler dieser Art bei einem Menschen als Behandlungsfehler gewertet würden.

Der Befund, den kaum jemand erwartet

Eine Nebenbeobachtung der Studie verdient besondere Aufmerksamkeit: Längere Antworten erhielten systematisch bessere Bewertungen. Und zwar unabhängig davon, ob die zusätzliche Länge fachlich etwas beitrug.

Das betrifft nicht nur Studien. Es betrifft jeden, der KI-Ausgaben im Alltag beurteilt. Ein ausführlicher, gut gegliederter Text wirkt kompetenter als eine knappe Antwort, auch wenn er es nicht ist. Wer ein Dokumentationswerkzeug testet, sollte sich dieser Verzerrung bewusst sein und gezielt auf Inhalte statt auf Umfang schauen.

Was die Studie nicht zeigt

Drei Einschränkungen gehören dazu. Die getesteten Modelle stammen aus dem Frühjahr 2025 und sind inzwischen mehrere Generationen alt, die Zahlen bilden also nicht den heutigen Stand ab. Die Untersuchung fand an einem einzigen Zentrum und in einer Sprache statt. Und die Bewertung offener Antworten durch Menschen ist naturgemäß subjektiver als das Abhaken von Multiple-Choice-Aufgaben, auch wenn die Übereinstimmung zwischen den Bewertern auf Modellebene sehr hoch ausfiel.

Was daraus für die Praxis folgt

Die Schlussfolgerung der Autoren ist eindeutig: Rechnerische Prüfungen allein reichen nicht, es braucht laufende Kontrolle durch fachlich qualifizierte Menschen.

Für die eigene Praxis lässt sich das auf eine Frage zuspitzen. Nicht: Wie gut ist das System im Schnitt? Sondern: Wie schnell erkenne ich, wenn es danebenliegt?

Damit verschiebt sich das entscheidende Kriterium von der Modellqualität zur Prüfbarkeit. Ein Werkzeug, das jede Aussage auf ihre Quelle zurückführt, ist im Zweifel wertvoller als eines, das im Durchschnitt einen Prozentpunkt besser abschneidet, seine Herleitung aber nicht offenlegt.

Genau darauf zielt die Zitatfunktion in psynex: Jede Aussage in einem generierten Bericht ist mit einem Verweis versehen, der zur Originalstelle in Ihren Notizen oder im Transkript führt. Sie sehen also unmittelbar, worauf eine Formulierung beruht, statt einen fertigen Text auf gut Glück durchzuwinken. Wie das im Alltag aussieht, können Sie kostenlos ausprobieren.