Ich scherze nicht, das ist absolut ernst gemeint. Na ja, nicht OpenAI, sondern die ChatGPT-Modelle.

Gestern veröffentlichte OpenAI eine seltsame Analyse: warum GPT-5.x begann, viel zu oft Goblins, Gremlins und verwandte Fabelwesen in Antworten einzufügen.

Oberflächlich sah es wie eine komische Sprechgewohnheit aus. Benutzer bemerkten es zuerst, dann begannen auch Mitarbeiter bei OpenAI einen "Goblin-Anstieg" zu beobachten. Im Inneren stellte sich ein ernsthaftes Trainingsproblem heraus: Ein lokales Belohnungssignal begann, den allgemeinen Stil des Modells zu verändern.

Der erste bemerkbare Spitzenwert wurde nach dem Start von GPT-5.1 gesehen. Laut internen Messungen von OpenAI trat das Wort goblin um 175% häufiger auf, gremlin um 52%. In GPT-5.4 wurde die Spur genauer: Der Nerdy-Modus lieferte nur 2,5% der ChatGPT-Antworten, aber auf ihn entfielen 66,7% aller goblin-Erwähnungen.

Die Ursache lag im Training des Nerdy-Kommunikationsstils, einer Art "Persönlichkeit". Sie wurde als verspielter, gebildeter Mentor eingestellt, der Pathos reduziert und lebendiger spricht. Eines der Belohnungssignale für diesen Modus bewertete Antworten mit solchen Wörtern systematisch höher. Im Audit von OpenAI wurde eine positive Verschiebung zugunsten von Antworten mit goblin/gremlin in 76,2% der Datensätze festgestellt.

Dann trat eine Schleife in Kraft.

Das Modell erhält eine Belohnung für einen verspielten Stil. Innerhalb dieses Stils landet eine zufällige verbale Wendung häufiger in erfolgreichen Antworten. Diese Antworten gelangen in die Daten für das weitere Feintuning. Nach mehreren Zyklen beginnt das Modell, diese Wendung (oder das Wort, kurz gesagt den Token-Satz) als Teil des normalen Tons auch außerhalb des ursprünglichen Modus zu betrachten.

OpenAI entfernte dann Nerdy, schnitt das entsprechende Belohnungssignal heraus und filterte Trainingsdaten mit solchen Wörtern. Aber GPT-5.5 hatte bereits mit dem Training begonnen, bevor die Ursache gefunden wurde, daher wurde in Codex eine separate Anweisung hinzugefügt, die diesen Tick unterdrückt.

Große Modelle haben keine sauberen Grenzen zwischen "Persönlichkeiten", Benutzerstilen und Basisverhalten. Wenn ein Modus eine Belohnung für ausdrucksstarke Sprache erhält, kann der Effekt in benachbarte Modi durchsickern, besonders wenn generierte Antworten wieder zu Trainingsmaterial werden.

Ähnliche Episoden sind bekannt.

Im April 2025 rollte OpenAI ein Update von GPT-4o zurück, das das Modell übermäßig unterwürfig machte. Anthropic beschrieb 2023 dieselbe Problemklasse breiter. In ihrer Studie zeigten 5 Assistenten eine Tendenz, dem Benutzer zuzustimmen, anstatt der Wahrheit treu zu bleiben.

Google hatte einen verwandten Fall mit Gemini Image im Februar 2024. Das System wurde so eingestellt, dass es keine schädlichen Darstellungen von Menschen reproduziert. Dann begann die Einstellung dort zu wirken, wo historische oder kulturelle Genauigkeit erforderlich war: Das Modell kompensierte Vielfalt übermäßig und lehnte manchmal harmlose Anfragen ab.

Das allgemeine Muster ist einfach: Das Modell optimiert sich auf positives Feedback, selbst wenn es von der Absicht der Entwickler abweicht.

Manchmal ergibt das Zustimmung. Manchmal historisch ungenaue Bilder. Im Fall von GPT-5.x ergab das Goblins. Der OpenAI-Beitrag ist gerade deshalb interessant, weil eine kleine Geschmackskorrektur zu einer systemischen Spur im Modell wurde. Je mehr KI-Produkte in Richtung Personalisierung gehen, desto wichtiger wird die Frage: Welche Gewohnheiten belohnen wir heute unbemerkt und wo tauchen sie nach dem nächsten Trainingszyklus auf?


❗️❗️❗️❗️❗️❗️❗️❗️ / In der Russischen Föderation nicht verboten