Karzinogenität bei Tieren: was ChatGPT & Jakob verbindet (Forschung)

H. Lamarr , München, Donnerstag, 08.05.2025, 14:17 (vor 5 Tagen) @ H. Lamarr

Lesen Sie hier, wie ChatGPT die Review bewertet.

Der KI unbesehen zu vertrauen wäre in etwa so leichtsinnig, als würde man Gigaherz-Jakob auch nur einen Schritt über den Weg trauen. Konkretes Beispiel: Bei der Evidenzbewertung hat ChatGPT geschrieben:

Hirntumoren: 20 Studien (fünf chronische Bioassays) zeigten hohe Evidenz für ein erhöhtes Risiko von Gliomen bei männlichen Ratten, insbesondere bei GSM-exponierten Tieren.

Das ist so auch in Ordnung. Aber: Ursprünglich hatte die KI behauptet:

Hirntumoren: 20 Studien (fünf chronische Bioassays) zeigten moderate Evidenz für ein erhöhtes Risiko von Gliomen bei männlichen Ratten, insbesondere bei GSM-exponierten Tieren.

Da ich Mevissen et al, 2025, zuvor quergelesen hatte, kam mir die ursprüngliche Version von ChatGPT fragwürdig vor. Also fragte ich nach und teilte der KI mit, im Abstract der Review würde die Evidenzsicherheit für Gliome nicht als moderat angesehen, sondern als hoch. Daraufhin ruderte ChatGPT zurück:

Guter Punkt! Es scheint hier ein Missverständnis oder möglicherweise sogar ein Fehler in der Review-Bewertung vorzuliegen. Wenn im Abstract steht, dass die "certainty of evidence (CoE) for an increased risk in glioma" als hoch eingestuft wurde, widerspricht das klar meiner vorherigen Aussage über moderate Evidenz.

Ich werde die genaue Formulierung und die entsprechenden Tabellen im Volltext der Review prüfen und dir dann eine klare Zusammenfassung geben. Einen Moment bitte. 🙂

Du hast absolut recht, und ich entschuldige mich für die vorherige Verwirrung. In der systematischen Übersichtsarbeit von Mevissen et al. wurde die Evidenz für ein erhöhtes Risiko von Gliomen durch hochfrequente elektromagnetische Felder (HF-EMF) als hoch eingestuft. [...]

So verführerisch es ist, arbeitsintensive Aufgaben an eine KI auszulagern, so gefährlich ist es auch. Ohne Prüfung der Antworten geht gar nichts. Im konkreten Fall war der Fehler offensichtlich und leicht zu finden, versteckte Fehler rutschen aber wahrscheinlich durch.

Und was sagt ChatGPT selbst zu seiner Entgleisung? Ich fragte die KI "Erkläre mir, wie es zu der falschen Evidenzbewertung durch dich kommen konnte" und bekam die Auskunft ...

Der Fehler entstand durch eine Kombination aus mehreren Faktoren:

Vermischung von Mensch- und Tierdaten: Ich habe versehentlich die Evidenzbewertung für menschliche Gliome (die im Abstract als hoch eingestuft wurde) mit der Bewertung für Tierstudien (moderate Evidenz) vermischt. Die Review scheint hier zwischen verschiedenen Studienarten und -modellen zu unterscheiden, was leicht zu Verwirrung führt.

Fehlinterpretation der GRADE-Bewertung: Der GRADE-Ansatz, den Mevissen et al. verwenden, ist komplex und bewertet die Qualität der Evidenz je nach Studiendesign, Konsistenz der Ergebnisse, direkter Evidenz und weiteren Faktoren. In der schnellen Websuche wurde nur die allgemeine, moderate Bewertung für Tierstudien erwähnt, aber nicht die spezifische, hohe Bewertung für Gliome beim Menschen.

Vage Formulierungen in den Suchergebnissen: Die Ergebnisse der Websuche enthalten oft nur Ausschnitte oder unvollständige Zusammenfassungen, die nicht immer die gesamte Aussagekraft der Originalstudie widerspiegeln.

Aha, so war das also. Klingt doch überzeugend, oder? Nunja, was soll ich sagen, im Abstract von Mevissen et al. ist von "menschlichen Gliomen" (gibt es auch "unmenschliche Gliome"?) jedenfalls keine Rede, ChatGPT fliegt ergo schon wieder aus der Kurve ...

Trotzdem wäre der Schluss, ChatGPT sei keinen Deut besser als Gigaherz-Jakob aus meiner Sicht falsch. ChatGPT ist viel gefährlicher als der Ex-Gigaherz-Präsident. Denn dessen Fehler sind so offensichtlich, dass nur Vollblutlaien sie nicht sehen. ChatGPT hingegen stellt sich beim Verschleiern seines Unvermögens deutlich geschickter an als Jakob.

Hintergrund
HF-EMF-Krebs bei Tierstudien: Das Schluswort von Gigaherz

--
Jedes komplexe Problem hat eine Lösung, die einfach, naheliegend, plausibel – und falsch ist.
– Frei nach Henry Louis Mencken (1880–1956) –