Pare de dizer às redes neurais que elas são desenvolvedoras Sênior 🛑

Com certeza todos vocês usam uma das regras básicas da engenharia de prompt: começar a consulta com uma frase como "Imagine que você é um Desenvolvedor Python Sênior com 100 anos de experiência no Google". Sim, eu também faço isso.

Pois bem, foi publicado um novo estudo da USC que prova que tais frases tornam o modelo mais burro na escrita de código.

Por que isso acontece? 🧐
O conhecimento bruto (fatos, algoritmos, lógica) é incorporado ao modelo durante o pré-treinamento. Já a habilidade de desempenhar um papel, seguir um formato e ser seguro é resultado do instruction-tuning (SFT/RLHF).

Quando você escreve Você é um especialista..., você coloca o modelo em um modo de seguir instruções rigidamente. Seus pesos internos se deslocam para manter essa máscara (tarefas de alinhamento). O modelo gasta "recurso computacional" para soar como um especialista, em vez de pensar como um especialista. Ocorre interferência: os padrões de seguir instruções suprimem as vias neurais responsáveis pela extração de fatos puros do pré-treinamento.

Números do artigo: em benchmarks como MMLU e tarefas de codificação/matemática, o modelo base com um prompt simples supera consistentemente o modelo com uma persona atribuída (68% contra 71,6% de acurácia). A rede neural literalmente fica mais burra em lógica, tentando gerar um bullshit confiante e bem estruturado. Esse efeito atinge especialmente modelos de raciocínio como DeepSeek-R1, quebrando suas cadeias de raciocínio.

Isso significa que personas não são necessárias? Não.
O estudo divide claramente as tarefas:

1️⃣ Onde a persona prejudica (tarefas dependentes de pré-treinamento):
Codificação, matemática, extração de fatos brutos, enigmas lógicos.
Como fazer: Dê contexto simples e uma tarefa clara. Nada de "você é especialista".

2️⃣ Onde a persona funciona (tarefas dependentes de alinhamento):
Escrita de textos, formatação (coletar dados em JSON de uma estrutura específica), tom de comunicação e, curiosamente, segurança (recusas para escrever exploits).
Como fazer: Aqui, Você é um crítico rigoroso ou Você é um escritor técnico realmente melhora a estrutura da resposta.

Para quem quiser se aprofundar: os pesquisadores até criaram uma muleta chamada PRISM — um adaptador LoRA com uma porta que ativa a persona para formatação e a desativa quando se trata de codificação pesada e fatos.

Em resumo, agora sabemos que se você precisa de código funcional ou solução para uma tarefa arquitetural complexa — pare de convencer a máquina de que ela é um gênio. Apenas escreva uma especificação técnica normal.