🪙 Wie man Token in Sprachmodellen nicht verschwendet

Wenn Sie aktiv Sprachmodelle wie Claude oder GPT nutzen, ist Ihnen sicherlich aufgefallen, wie schnell die Token-Limits aufgebraucht sind. Dies gilt insbesondere für Premium-Modelle wie Opus 4.6, deren Nutzung selbst bei kostenpflichtigen Abonnements begrenzt ist. Der Grund dafür ist, dass bei jeder Anfrage der gesamte Gesprächsverlauf übermittelt wird, und je länger dieser ist, desto mehr Token werden verbraucht. Aber es gibt einen Weg, zu sparen.

Versuchen Sie, eine kurze Zusammenfassung zu erstellen. Bitten Sie das Modell in einem bestimmten Stadium der Kommunikation (z. B. in der Mitte des Dialogs), eine Zusammenfassung im Markdown-Format zu formulieren. Diese Zusammenfassung sollte alle wichtigen Informationen enthalten, damit ein anderer Agent das Gespräch an derselben Stelle fortsetzen kann. Öffnen Sie dann einen neuen Agenten, fügen Sie diese Zusammenfassung ein und stellen Sie die nächste Frage. Der neue Dialog beginnt mit minimaler Historie, aber unter Beibehaltung des Kontexts 👍

👩‍💻 Data Flow