Arrêtez de dire aux réseaux de neurones qu'ils sont des développeurs Senior 🛑

Vous utilisez sûrement tous l'une des règles de base du prompt engineering : commencez votre requête par une phrase du genre « Imagine que tu es un Senior Python Developer avec 100 ans d'expérience chez Google ». Oui, je fais pareil.

Eh bien, une étude récente de l'USC a démontré que ces phrases rendent le modèle plus stupide pour écrire du code.

Pourquoi ? 🧐
Les connaissances brutes (faits, algorithmes, logique) sont intégrées au modèle lors du pretraining. Mais la capacité à jouer un rôle, à suivre un format et à être sûr provient de l'instruction-tuning (SFT/RLHF).

Quand vous écrivez You are an expert..., vous faites basculer le modèle en mode de suivi strict des instructions. Ses poids internes se déplacent vers le maintien de ce masque (tâches d'alignement). Le modèle dépense une « ressource de calcul » pour sonner comme un expert, au lieu de penser comme un expert. Il y a interférence : les schémas de suivi d'instructions suppriment les voies neuronales responsables de l'extraction de faits purs du pré-entraînement.

Les chiffres de l'article : sur des benchmarks comme MMLU et des tâches de codage/mathématiques, le modèle de base avec un prompt nu surpasse systématiquement le modèle avec un personnage ajouté (68 % contre 71,6 % de précision). Le réseau neuronal devient littéralement plus stupide en logique, essayant de générer des conneries structurées et confiantes. Cet effet frappe particulièrement les modèles de raisonnement comme DeepSeek-R1, brisant leurs chaînes de raisonnement.

Cela signifie-t-il que les personnages ne sont pas du tout nécessaires ? Non.
L'étude distingue clairement les tâches :

1️⃣ Où le personnage nuit (tâches dépendantes du pré-entraînement) :
Codage, mathématiques, extraction de faits bruts, énigmes logiques.
Comment faire : Donnez un contexte nu et une tâche claire. Pas de « tu es un expert ».

2️⃣ Où le personnage fonctionne (tâches dépendantes de l'alignement) :
Rédaction de textes, formatage (collecter des données dans un JSON d'une certaine structure), ton de communication et, curieusement, sécurité (refus d'écrire des exploits).
Comment faire : Ici, Tu es un critique strict ou Tu es un rédacteur technique améliorera réellement la structure de la réponse.

Pour ceux qui veulent creuser plus profondément : les chercheurs ont même créé une béquille PRISM — un adaptateur LoRA avec une porte qui active le personnage à la volée pour le formatage et le désactive quand il s'agit de codage hardcore et de faits.

Bref, maintenant on sait que si vous avez besoin de code fonctionnel ou d'une solution à un problème architectural complexe — arrêtez de convaincre la machine qu'elle est un génie. Écrivez simplement un cahier des charges normal.