Ana içeriğe geç

"caching" ile etiketlenmiş Bir gönderi

Tüm Etiketleri Görüntüle

LLM çağrılarını cache'lemek ve semantic cache'in yalan söylediği yer

· 7 dakikalık okuma

LLM çağrıları yavaş, token başına ücretlendiriliyor ve büyük bir kısmı tekrar ediyor. Aynı destek sorusu günde yüz kez geliyor, aynı doküman her sayfa görüntülemesinde yeniden özetleniyor. Bariz çözüm cache ve iki türü var. Biri sıkıcı ve güvenli. Diğeri daha çok tasarruf ettiriyor ve kimsenin sormadığı bir soruyu cevaplayabiliyor.

Bu yazı ikisini de anlatıyor: exact-match bir cache key'in içine neler girmeli, semantic cache neden yanlış soruya doğru cevabı döndürebiliyor ve kullanıcılarınızdan önce sizin fark etmeniz için onu nasıl kapsamlandırır, expire eder ve ölçersiniz.