Ich war ein paar Monate weg. Nicht, weil ich in den Wald gegangen bin, in einen Retreat oder digitalen Detox – obwohl das manchmal verlockend klingt😌.

Ich habe mich endlich in das vertieft, was ich schon lange tiefer erkunden wollte: neue KI-Produkte gebaut, mich mit der Architektur von Sprachmodellen beschäftigt und mich zeitweise wie jemand gefühlt, der einen Schrank öffnet und dem alle Kisten auf einmal entgegenfallen.

Und neulich sah ich einen Beitrag: UOM – die Universität, an der ich Ernährungswissenschaften studiert habe und der ich sehr vertraue – hat offiziell das Programm „Neuronale Netze für helfende Berufe“ gestartet.

Und ich habe mich richtig gefreut. Denn das, womit ich mich schon ein Jahr beschäftige, hat aufgehört, ein seltsames Hobby von jemandem zu sein, der zu viel mit ChatGPT redet, und ist zu einem anerkannten Bereich geworden – sogar in seriösen Bildungsprojekten.

Das ist nicht mehr „irgendwann später“. Es passiert jetzt.
Gleichzeitig bieten Perplexity und Alisa bereits die Entschlüsselung von Analysen und Empfehlungen an, und Influencer raten im Wettstreit: „Sammelt eure Gesundheitsdaten und gebt sie der KI“.

Klingt modern. Bequem. Fast so, als hätte die Zukunft endlich Hausschuhe und Tee gebracht☕️.

Und in gewisser Weise stimmt das auch.
Aber jedes Mal, wenn ich solche Ratschläge höre, geht bei mir innerlich ein kleines Warnlämpchen an. Weil ich das weiß, was von außen normalerweise nicht sichtbar ist.

Es gibt so etwas – Halluzinationen von Sprachmodellen.
Klingt fast romantisch, aber in Wirklichkeit ist es prosaischer: Das Modell kann selbstbewusst etwas mitteilen, das in Ihren Daten nicht vorhanden war.
Nicht, weil es bösartig, hinterhältig ist oder beschlossen hat, Ihnen den Abend zu verderben. Sondern weil es so funktioniert: Es generiert eine statistisch wahrscheinliche Antwort, holt aber keine geprüfte Tatsache aus einem Safe mit dem Schild „Wahrheit“.

Und im medizinischen Kontext ist das nicht mehr nur ein lustiger Bug.

In einer Studie zu medizinischen Fallzusammenfassungen lag die Halluzinationsrate ohne spezielle Gegenmaßnahmen bei bis zu 64,1%. Und der Benchmark MedHallu mit 10.000 Fragen aus der medizinischen Literatur zeigte, dass selbst starke Modelle, einschließlich GPT-4o und Llama-3.1, Schwierigkeiten haben, komplexe medizinische Halluzinationen zu erkennen: Das beste Ergebnis in der schwierigsten Kategorie war ein F1-Score von 0,625.

Und nein, das bedeutet nicht, dass man KI sofort in Alufolie einwickeln, in eine hintere Schublade legen und nie wieder hervorholen sollte.
Ich selbst nutze sie ständig. Mein bewährter NutriAgent hat die Analyse eines Kundenfalls von mehreren Tagen auf wenige Stunden verkürzt.
Sie funktioniert wirklich gut dort, wo die Aufgabe algorithmisch ist: Indikatoren zusammenführen, mit Optima vergleichen, Abweichungen hervorheben, Hypothesen aufstellen helfen. In Sekunden erledigt sie, was früher eine Stunde manueller Arbeit dauerte, und vergisst nicht, dorthin zu schauen, wo das menschliche Auge nach der dritten Tabelle nicht mehr hinsehen will.

Aber.
Manchmal erwischt man sie bei einem Fehler. Sie beschreibt selbstbewusst Details, die in den Ausgangsmaterialien nicht vorhanden sind.
Das heißt, das Wesentliche hat sie gefunden. Und dann beschlossen, ein wenig einen Roman zu schreiben✍🏻.

Und darin liegt das eigentliche Problem der KI im Gesundheitsbereich: nicht, dass sie Fehler macht. Sondern dass Sie nicht immer verstehen, wo genau sie angefangen hat zu fabulieren.
Wenn Daten fehlen oder mehrdeutig sind, sagt das Modell nicht immer: „Ich weiß es nicht“. Manchmal ergänzt es das Bild mit dem, was „normalerweise“ in ähnlichen Fällen vorkommt. Selbstbewusst, ruhig, mit der Miene eines Musterschülers an der Tafel.

Und ohne professionellen Kontext ist es fast unmöglich, eine solche Antwort von einer Schlussfolgerung auf der Grundlage Ihrer spezifischen Indikatoren zu unterscheiden.

🤫Gestern habe ich mit einem Handwerker über die „Okosyachka“ für eine Sauna gesprochen.
Okosyachka ist eine spezielle Konstruktion in der Öffnung, ohne die ein Blockhaus beim Setzen Türen und Fenster quetschen kann. Also eine wichtige Sache. Besonders wenn Sie, wie ich, vor dem Gespräch dachten, es sei nur ein Wort aus der Kategorie „etwas Lustiges“.

Irgendwann wurde mir klar, dass ich fast nichts von den Erklärungen des Handwerkers verstand. Habe es ehrlich zugegeben.
Er überlegte und sagte:
„Nun, entweder Sie müssen alles selbst lernen, oder Sie vertrauen jemandem, der sich auskennt.“

Und ich dachte: genau das. Die ganze Diskussion über KI, Analysen und Gesundheit in einem Satz.
Entweder tauchst du tief genug ein, um Fehler zu sehen, oder du wendest dich an jemanden, der diesen Weg bereits gegangen ist.

KI steht auf dieser Liste noch nicht.
Sie ist kein Arzt. Kein Ernährungsberater. Kein Spezialist, der Verantwortung für Schlussfolgerungen trägt.
Sie ist ein Werkzeug in den Händen eines Experten.
Sehr mächtig, schnell, nützlich. Aber dennoch ein Werkzeug.
Ungefähr wie ein Akkuschrauber: eine tolle Sache, solange Sie ihn nicht bitten, selbstständig eine Sauna zu bauen, die Setzung des Blockhauses zu berechnen und Ihnen Fenster auszusuchen.

Haben Sie schon einmal versucht, Ihre Analysen oder Symptome in ein neuronales Netz hochzuladen? Wenn ja, wie sehr vertrauen Sie dem, was Sie erhalten haben?

@nastroi_zdorovie 🎧