Hört auf, KI-Modelle als Senior-Entwickler zu bezeichnen 🛑

Wahrscheinlich verwendet ihr alle eine der grundlegenden Regeln des Prompt-Engineerings: Beginnt die Anfrage mit einem Satz wie „Stell dir vor, du bist ein Senior Python Developer mit 100 Jahren Erfahrung bei Google“. Ja, ich mache das auch.

Nun wurde eine aktuelle Studie der USC veröffentlicht, die beweist, dass solche Formulierungen das Modell beim Schreiben von Code dümmer machen.

Warum ist das so? 🧐
Rohwissen (Fakten, Algorithmen, Logik) wird dem Modell während des Pre-Trainings beigebracht. Die Fähigkeit, eine Rolle zu spielen, einem Format zu folgen und sicher zu sein, ist jedoch das Ergebnis von Instruction-Tuning (SFT/RLHF).

Wenn ihr You are an expert... schreibt, versetzt ihr das Modell in einen Modus der strikten Befolgung von Anweisungen. Seine internen Gewichte verschieben sich in Richtung Aufrechterhaltung dieser Maske (Alignment-Aufgaben). Das Modell verbraucht „Rechenressourcen“, um wie ein Experte zu klingen, anstatt wie ein Experte zu denken. Es kommt zu Interferenzen: Instruction-Following-Muster unterdrücken die neuronalen Pfade, die für das Abrufen reiner Fakten aus dem Pre-Training zuständig sind.

Zahlen aus dem Paper: Bei Benchmarks wie MMLU und Aufgaben zu Codierung/Mathematik übertrifft das Basismodell mit einem nackten Prompt konstant das Modell mit einer aufgesetzten Persona (68 % vs. 71,6 % Accuracy). Das neuronale Netz wird buchstäblich dümmer in der Logik, während es versucht, selbstbewussten, schön strukturierten Bullshit zu generieren. Besonders stark trifft dieser Effekt Reasoning-Modelle wie DeepSeek-R1, indem er ihre Gedankenketten unterbricht.

Heißt das, dass Personas völlig unnötig sind? Nein.
Die Studie unterscheidet klar zwischen Aufgaben:

1️⃣ Wo die Persona schadet (Pretraining-abhängige Aufgaben):
Codierung, Mathematik, Abrufen roher Fakten, Logikrätsel.
So sollte es sein: Gebt nackten Kontext und eine klare Aufgabe. Kein „Du bist Experte“.

2️⃣ Wo die Persona funktioniert (Alignment-abhängige Aufgaben):
Texte schreiben, Formatierung (Daten in einem JSON mit bestimmter Struktur sammeln), Kommunikationston und, seltsamerweise, Safety (Ablehnung, Exploits zu schreiben).
So sollte es sein: Hier verbessert Du bist ein strenger Kritiker oder Du bist ein technischer Redakteur tatsächlich die Struktur der Antwort.

Für diejenigen, die tiefer eintauchen möchten: Die Forscher haben sogar einen Workaround namens PRISM entwickelt – einen LoRA-Adapter mit einem Gate, der die Persona für die Formatierung einschaltet und ausschaltet, wenn es um anspruchsvolle Codierung und Fakten geht.

Kurz gesagt, wir wissen jetzt: Wenn ihr funktionierenden Code oder eine Lösung für eine komplexe architektonische Aufgabe braucht, hört auf, das Metallstück zu überreden, dass es ein Genie ist. Schreibt einfach normal die Aufgabenstellung.