🪙 Cómo no desperdiciar tokens en modelos de lenguaje

Si usas activamente modelos de lenguaje como Claude o GPT, seguramente has notado lo rápido que se agotan los límites de tokens. Esto es especialmente aplicable a modelos premium, como Opus 4.6, cuyo uso está limitado incluso en suscripciones de pago. Todo se debe a que en cada solicitud se transmite todo el historial de la conversación, y cuanto más largo es, más tokens se consumen. Pero hay una forma de ahorrar.

Intenta hacer un resumen breve. En cierta etapa de la conversación con el modelo (por ejemplo, a mitad del diálogo), pídele que formule un resumen en formato markdown. Este resumen debe contener toda la información clave para que otro agente pueda continuar la conversación desde el mismo punto. Luego abre un nuevo agente, pega ese resumen y haz la siguiente pregunta. El nuevo diálogo comenzará con un historial mínimo, pero manteniendo el contexto 👍

👩‍💻 Data Flow