Deja de decirle a las redes neuronales que son desarrolladores Senior 🛑

Seguramente todos usan una de las reglas básicas de la ingeniería de prompts: comenzar la consulta con una frase como «Imagina que eres un Senior Python Developer con 100 años de experiencia en Google». Sí, yo también lo hago.

Pues bien, se publicó un estudio reciente de la USC que demuestra que estas frases hacen que el modelo sea más tonto al escribir código.

¿Por qué sucede esto? 🧐
El conocimiento bruto (hechos, algoritmos, lógica) se incorpora al modelo durante el pretraining. Pero la capacidad de interpretar un rol, seguir un formato y ser seguro es el resultado del instruction-tuning (SFT/RLHF).

Cuando escribes Eres un experto..., pones al modelo en un modo de seguir instrucciones rígidamente. Sus pesos internos se desplazan hacia el mantenimiento de esa máscara (tareas de alineación). El modelo gasta «recursos computacionales» en sonar como un experto, en lugar de pensar como un experto. Se produce interferencia: los patrones de seguimiento de instrucciones suprimen las vías neuronales responsables de extraer hechos puros del pretraining.

Las cifras del artículo: en benchmarks como MMLU y tareas de codificación/matemáticas, el modelo base con un prompt simple supera consistentemente al modelo con una persona añadida (68% frente a 71.6% de precisión). La red neuronal literalmente se vuelve más tonta en lógica, tratando de generar basura segura y bien estructurada. Este efecto afecta especialmente a los modelos de razonamiento como DeepSeek-R1, rompiendo sus cadenas de razonamiento.

¿Significa esto que las personas no son necesarias en absoluto? No.
El estudio divide claramente las tareas:

1️⃣ Donde la persona perjudica (tareas dependientes del pretraining):
Codificación, matemáticas, extracción de hechos brutos, acertijos lógicos.
Cómo hacerlo: Proporcione contexto simple y una tarea clara. Nada de «eres un experto».

2️⃣ Donde la persona funciona (tareas dependientes de la alineación):
Redacción de textos, formateo (recopilar datos en JSON con una estructura determinada), tono de comunicación y, curiosamente, seguridad (negarse a escribir exploits).
Cómo hacerlo: Aquí Eres un crítico estricto o Eres un escritor técnico realmente mejorará la estructura de la respuesta.

Para aquellos que quieran profundizar: los investigadores incluso crearon una muleta PRISM: un adaptador LoRA con una puerta que activa la persona para el formateo sobre la marcha y la desactiva cuando se trata de codificación dura y hechos.

En resumen, ahora sabemos que si necesitas código funcional o la solución de un problema arquitectónico complejo, dejamos de convencer a la máquina de que es un genio. Simplemente escribimos bien los requisitos.