LLM çağrılarını cache'lemek ve semantic cache'in yalan söylediği yer
LLM çağrıları yavaş, token başına ücretlendiriliyor ve büyük bir kısmı tekrar ediyor. Aynı destek sorusu günde yüz kez geliyor, aynı doküman her sayfa görüntülemesinde yeniden özetleniyor. Bariz çözüm cache ve iki türü var. Biri sıkıcı ve güvenli. Diğeri daha çok tasarruf ettiriyor ve kimsenin sormadığı bir soruyu cevaplayabiliyor.
Bu yazı ikisini de anlatıyor: exact-match bir cache key'in içine neler girmeli, semantic cache neden yanlış soruya doğru cevabı döndürebiliyor ve kullanıcılarınızdan önce sizin fark etmeniz için onu nasıl kapsamlandırır, expire eder ve ölçersiniz.
Exact match: cevabı değiştiren her şeyi hash'le
Exact-match bir cache, saklanan bir cevabı yalnızca istek birebir aynıysa döndürüyor. Bütün iş "birebir aynı"nın ne demek olduğuna karar vermek ve kural basit: çıktıyı değiştirebilecek her şey key'e giriyor. Birini unutursanız, farklı koşullar altında hesaplanmış bir cevabı servis edersiniz.
Bu liste prompt'tan daha uzun:
- Model, deployment'ına ya da sürümüne kadar. Yeni bir model sürümü aynı prompt'a farklı cevaplar veriyor.
- Sampling parametreleri: temperature, max tokens, gönderdiğiniz diğer her şey.
- System prompt, sürümüyle. Talimatları değiştirdiğinizde eski cevaplar bayatlıyor.
- Kapsam: tenant, cevap soranın kim olduğuna bağlıysa kullanıcı da.
- Konuşmadaki her mesaj, yalnızca sonuncusu değil.
- Getirilen chunk'lar ve tool sonuçları, ID ve sürümleriyle. RAG'de cevap neyin getirildiğine bağlı; değişmiş bir doküman üzerinden sorulan aynı soru farklı bir istek.
Temperature ayrıca bir notu hak ediyor. Sıfırın üzerinde model her seferinde farklı bir cevap verirdi; cache ise bir örneği donduruyor. Bir SSS için bu sorun değil, hatta istenen şey. "Bana beş yeni fikir ver" için ise bütün amacı boşa çıkarıyor. Bu bir cache detayı değil, bir ürün kararı.
Hepsini tek bir record'a koyuyorum ve serialize edilmiş halini hash'liyorum:
public sealed record Turn(string Role, string Text);
public sealed record LlmRequest(
string Model,
float Temperature,
string PromptVersion, // version of the system prompt, not its text
string TenantId,
IReadOnlyList<Turn> Messages,
IReadOnlyList<string> Sources); // retrieved chunk or tool result ids, with versions
static string CacheKey(LlmRequest r)
{
byte[] hash = SHA256.HashData(JsonSerializer.SerializeToUtf8Bytes(r));
return $"llm:{r.TenantId}:{Convert.ToHexString(hash)}";
}
Hash'lemek Microsoft'un HybridCache key'leri için verdiği tavsiyeye de uyuyor: key'e ham kullanıcı
girdisi koymayın ve varsayılan 1.024 karakter limitinin altında kalın. Bir prompt hem kullanıcı girdisi
hem de uzun. Hash ikisi de değil.
HybridCache ile saklamak
Microsoft.Extensions.Caching.Hybrid paketindeki HybridCache buna iyi oturuyor. Bir in-memory cache
tutuyor, kayıtlı bir IDistributedCache'i, mesela Redis'i, ikinci seviye olarak kullanıyor ve key başına
eşzamanlı çağıranlardan yalnızca birinin factory'yi çalıştırmasına izin veriyor. Aynı anda gelen elli
aynı prompt, o instance'ta tek bir model çağrısına dönüşüyor.
public async Task<string> AskAsync(LlmRequest r, CancellationToken ct) =>
await cache.GetOrCreateAsync(
CacheKey(r),
async token =>
{
List<ChatMessage> messages =
[.. r.Messages.Select(m => new ChatMessage(new ChatRole(m.Role), m.Text))];
var options = new ChatOptions { ModelId = r.Model, Temperature = r.Temperature };
ChatResponse response = await chat.GetResponseAsync(messages, options, token);
return response.Text;
},
new HybridCacheEntryOptions { Expiration = TimeSpan.FromHours(6) },
tags: [$"tenant:{r.TenantId}", .. r.Sources.Select(s => $"source:{s.Split('@')[0]}")],
cancellationToken: ct);
public ValueTask OnSourceChangedAsync(string sourceId, CancellationToken ct) =>
cache.RemoveByTagAsync($"source:{sourceId}", ct);
Her kayıt tenant'ı ve üzerine kurulduğu dokümanlarla tag'leniyor. Bir doküman değiştiğinde
RemoveByTagAsync onu kullanan her cevabı geçersiz kılıyor. Dokümantasyondan iki detay: tag ile silme
mantıksal bir işlem, eski değerler saklanmaya devam ediyor ama miss olarak sayılıyor; ve diğer
sunucuların in-memory cache'ine ulaşmıyor. Trafiği birden fazla instance karşılıyorsa
LocalCacheExpiration'ı kısa tutun.
Tek bir process yetiyorsa, kendi kütüphanem OrionCache da aynı single-flight
GetOrCreateAsync'i tag invalidation ile ve testlerde sahte bir saat üzerinde çalışan TTL'lerle yapıyor.
1.0 sürümü yalnızca in-memory; yani onun tag'leri de tek bir instance'la sınırlı.
Hangi yöntemle olursa olsun asla cache'lemeyeceğim bir şey var: yan etkisi olan bir tool çağrısı isteyen bir cevap. Okumayı cache'leyin, eylemi asla.
Semantic caching: en yakın, aynı demek değil
Exact-match bir cache, "şifremi nasıl sıfırlarım" saklandıktan sonra "şifremi nasıl sıfırlayabilirim" sorusunda miss veriyor. Semantic cache her prompt'u embed ediyor, saklanan en yakın prompt'u buluyor ve ikisi yeterince benzerse onun cevabını döndürüyor. Farklı ifadeler de hit oluyor, hit oranı yükseliyor.
Sorun "benzer"in neyi ölçtüğü. Embedding'ler aynı konudaki metinleri birbirine yakın koyuyor. İki metnin aynı anlama geldiğini vaat etmiyorlar ve gelmedikleri durumlar tam da can yakanlar:
- Olumsuzluk. "Siparişimi iptal et" ile "siparişimi iptal etme" tek bir ekle ayrılıyor ve aynı şeyden bahsediyor. Birbirine çok yakın düşebilirler.
- Varlıklar. "Almanya için iade politikası" ile "Fransa için iade politikası" arasında tek bir token var.
- Kapsam. "Bakiyem ne kadar?" her kullanıcı için aynı metin, her biri için farklı bir doğru cevap.
- Zaman. "Bu hafta ne değişti?" her pazartesi yeni bir şey demek.
Exact-match bir cache yanlış cevabı yalnızca key'de bir şey eksik olduğunda servis ediyor. Semantic cache ise eşik izin verdiği her durumda, tasarımı gereği başka bir sorunun cevabını servis ediyor. Yani iş, bunun olabileceği yeri sınırlamak.
Önce kapsam, sonra benzerlik
Bulanık olması gereken tek şey kullanıcının serbest metin sorusu. Yukarıdaki key listesindeki diğer her şey exact kalıyor ve benzerlik araması yalnızca o kapsamın içinde çalışıyor:
Cache Postgres'te duruyorsa, bu kapsamı WHERE'de taşıyan bir pgvector sorgusu:
SELECT response, prompt, embedding <=> $1 AS distance
FROM llm_semantic_cache
WHERE tenant_id = $2 AND model = $3 AND prompt_version = $4
AND expires_at > now()
ORDER BY embedding <=> $1
LIMIT 1;
Mesafeyi eşikle SQL'de değil, C#'ta karşılaştırıyorum. pgvector README'si index taramasının yanına bir mesafe koşulu koymamayı tavsiye ediyor (onun yerine materialized bir CTE öneriyor); C#'taki kontrol hem daha basit hem de kıl payı kaçanları loglamama izin veriyor. Ayrıca approximate bir index'te filtreli bir sorgu, bir eşleşme olsa bile boş dönebiliyor; sebepleri pgvector yazısında. Bir cache için bu güvenli, sadece bir miss'e dönüşüyor.
Bazı istekler semantic yola hiç girmemeli: kişisel veriden üretilen cevaplar, zamana bağlı sorular, bir tool çağrısına giden her şey ve bir konuşmanın içindeki devam soruları. "Peki ikincisi?" geçmiş olmadan bir şey ifade etmiyor; farklı konuşmalardaki iki aynı devam sorusu da farklı sorular.
Eşiği seçmek
Evrensel bir sayı yok. Mesafeler embedding modeline ve sizin alanınıza bağlı; başka bir yerden kopyalanmış bir eşik bir tahmin. Ben onu veriden seçerdim:
- Gerçek prompt çiftleri toplayın ve her çifti etiketleyin: aynı cevap ya da farklı cevap.
- Bilerek zor negatifler ekleyin: olumsuzluklar, yer değiştirmiş varlıklar, farklı tarihler.
- Her çiftin mesafesini hesaplayın ve iki grubun nerede örtüştüğüne bakın.
- Eşiği, zor negatiflerde kabul edebileceğiniz yanlış hit oranına göre seçin. Hit oranı ne kalırsa o.
Embedding modelini değiştirmek her mesafeyi değiştiriyor; yani yeni bir eşik ve boş bir semantic cache demek. İki farklı modelin vektörleri zaten karşılaştırılamaz.
TTL'ler ve invalidation
Her kaydın bir TTL'i olmalı ve bu, ne kadar tasarruf etmek istediğinize göre değil, bir cevabın ne kadar
bayat olmasına izin verildiğine göre belirlenmeli. Bunun üzerine, değişiklikte invalidate edin. Exact cache
tag'leri kullanıyor. Semantic tablo, her cevabın üzerine kurulduğu kaynak ID'lerini saklıyor ve onlara
göre siliyor: DELETE FROM llm_semantic_cache WHERE $1 = ANY(source_ids). Yeni bir prompt sürümü hiç
temizlik gerektirmiyor. O kapsamın bir parçası; eski kayıtlar eşleşmeyi bırakıyor ve expire oluyor.
Yanlış hit oranını ölçmek
Tek başına hit oranı bir gösteriş metriği. Her şeyi kabul eden bir eşiğin hit oranı kusursuzdur. Önemli olan bir hit'in ne sıklıkla yanlış olduğu ve bunu ancak kontrol ederek bilebilirsiniz:
- Her semantic hit'i loglayın; iki prompt'u ve mesafeyi birlikte. Düzenli olarak bir örneklemini okuyun. Yanlış hit'ler genelde bir insan için bariz.
- Hit'lerin küçük bir kısmını shadow'layın. Modeli yine de çağırın, cevabını cache'teki cevapla karşılaştırın ve uyuşmayan çiftleri incelemeye işaretleyin.
- Kıl payı kaçanları da loglayın, yani eşiğin hemen üstündekileri. Eşiği gevşetmenin güvenli olup olmayacağını onlar söylüyor.
Yanlış hit oranını hit oranının yanında, tenant ve soru tipi bazında takip edin. Benim varsayılanım, uygulanabildiği her yerde exact-match cache; semantic cache ise yalnızca o sayıya sahip olduğum ve onunla yaşayabildiğim dar, stateless sorular için.
