🪙 Comment ne pas gaspiller les tokens dans les modèles de langage

Si vous utilisez activement des modèles de langage comme Claude ou GPT, vous avez sûrement remarqué à quelle vitesse les limites de tokens s'épuisent. Cela s'applique particulièrement aux modèles premium, comme Opus 4.6, dont l'utilisation est limitée même avec des abonnements payants. Tout cela parce qu'à chaque requête, tout l'historique de la conversation est transmis, et plus il est long, plus de tokens sont consommés. Mais il existe un moyen d'économiser.

Essayez de faire un résumé concis. À un certain stade de la conversation avec le modèle (par exemple, au milieu du dialogue), demandez-lui de formuler un résumé au format markdown. Ce résumé doit contenir toutes les informations clés afin qu'un autre agent puisse continuer la conversation là où elle s'est arrêtée. Ensuite, ouvrez un nouvel agent, insérez-y ce résumé et posez la question suivante. La nouvelle conversation commencera avec un historique minimal, mais en conservant le contexte 👍

👩‍💻 Data Flow