🪙 Dil Modellerinde Token'ları Nasıl Boşa Harcamazsınız

Claude veya GPT gibi dil modellerini aktif olarak kullanıyorsanız, token limitlerinin ne kadar hızlı tükendiğini mutlaka fark etmişsinizdir. Bu özellikle Opus 4.6 gibi premium modeller için geçerlidir; ücretli aboneliklerde bile kullanımları sınırlıdır. Sorun şu ki, her istekte tüm sohbet geçmişi gönderilir ve geçmiş ne kadar uzunsa o kadar fazla token harcanır. Ancak tasarruf etmenin bir yolu var.

Kısa bir özet yapmayı deneyin. Modelle iletişiminizin belirli bir aşamasında (örneğin, diyaloğun ortasında), markdown formatında bir özet çıkarmasını isteyin. Bu özette tüm anahtar bilgiler bulunmalıdır, böylece başka bir ajan konuşmaya kaldığı yerden devam edebilir. Ardından yeni bir ajan açın, bu özeti yapıştırın ve bir sonraki soruyu sorun. Yeni diyalog minimum geçmişle başlar ancak bağlam korunur 👍

👩‍💻 Data Flow