Context window'a ne girer?
Bir modelin mevcut istek hakkında bildiği her şey tek bir girdi bloğu olarak geliyor: talimatlarınız, tool tanımları, getirdiğiniz dokümanlar, o ana kadarki konuşma ve son tool'un döndürdüğü her şey. Modelin başka bir hafızası yok. Bir şey o blokta değilse, bu çağrı için yok.
Context window'lar artık o kadar büyük ki her şeyi içine koyup ayıklamayı modele bırakmak cazip geliyor. Bence bu yanlış bir varsayılan. Window bir bütçe ve her bütçe gibi, her parçanın ne için olduğuna karar verdiğinizde onu iyi harcamak daha kolay.
Yer için kim yarışıyor?
Bir agent'a ya da chat asistanına giden tipik bir istek beş tür içerik taşıyor:
- System prompt: asistanın kim olduğu, neyi yapıp neyi yapamayacağı, çıktı formatı.
- Tool tanımları: modelin çağırabileceği her tool'un adı, açıklaması ve JSON şeması. Model kullansa da kullanmasa da her istekte gönderiliyorlar.
- Getirilen dokümanlar: aramanızın bu soru için bulduğu chunk'lar.
- Konuşma geçmişi: önceki sorular ve cevaplar, modelin kendi tool call'ları dahil.
- Tool sonuçları: o çağrıların döndürdükleri. Çoğu zaman en büyük ve en az öngörülebilir kalem.
Bunların her biri kendi sebepleriyle büyüyor; genelde kodun farklı bir yerinde, farklı biri tarafından yazılmış oluyorlar. Window dolduğu için bir istek patlayana ya da fatura gelene kadar toplamı kimse görmüyor.
Uzun context bedava değil
Boyutun üç bedeli var.
Para. Input token'ları her istekte ücretlendiriliyor. Çoğu chat API'sinde konuşmanın tamamı her turda yeniden gönderiliyor; yirminci tur kendinden önceki on dokuzun bedelini ödüyor ve geçmişte duran her tool sonucu tekrar tekrar ödeniyor.
Gecikme. Model ilk output token'ını yazmadan önce bütün girdiyi işlemek zorunda. Daha uzun bir prompt, bir şey görünmeden önce daha uzun bir bekleme demek; stream etmenin gizlemeye çalıştığı gecikme tam olarak bu.
Dikkat. Çok uzun bir girdiyi kabul eden bir model onun her yerini eşit derecede iyi kullanmıyor. Lost in the Middle makalesi, ilgili bilgi context'in başında ya da sonundayken modellerin en iyi, ortasındayken daha kötü sonuç verdiğini ölçtü. Yeni modeller uzun girdilerle daha iyi başa çıkıyor ama doğru bir cevabı, modelin bir yığın tool çıktısının ortasındaki tek bir cümleyi bulmasına bağlamam. Maksimum window boyutu bir sınır, hedef değil.
Önce her parçayı ölçün
Bir şeyi kırpmadan önce token'ların nereye gittiğini bulun. Sağlayıcı toplam input token sayısını
response'ta bildiriyor; Microsoft.Extensions.AI'da bu response.Usage. Toplam size hangi parçayı kesmeniz
gerektiğini söylemiyor; o yüzden her parçayı kendi tarafımda da sayıyorum:
using System.Text.Json;
using Microsoft.Extensions.AI;
using Microsoft.ML.Tokenizers;
Tokenizer tok = TiktokenTokenizer.CreateForModel("gpt-4o");
var report = new Dictionary<string, int>
{
["system"] = tok.CountTokens(systemPrompt),
["tools"] = tools.OfType<AIFunction>()
.Sum(f => tok.CountTokens($"{f.Name} {f.Description} {f.JsonSchema}")),
["retrieved"] = chunks.Sum(c => tok.CountTokens(c)),
["history"] = history.Where(m => m.Role != ChatRole.Tool).Sum(m => CountTokens(tok, m)),
["tool results"] = history.Where(m => m.Role == ChatRole.Tool).Sum(m => CountTokens(tok, m)),
};
static int CountTokens(Tokenizer tok, ChatMessage m) => m.Contents.Sum(c => c switch
{
TextContent t => tok.CountTokens(t.Text),
FunctionCallContent call => tok.CountTokens(call.Name + JsonSerializer.Serialize(call.Arguments)),
FunctionResultContent r => tok.CountTokens(r.Result?.ToString() ?? ""),
_ => 0,
});
Tokenizer, O200kBase data paketiyle birlikte Microsoft.ML.Tokenizers'tan geliyor. Tek bir model ailesiyle
birebir, diğerleriyle ancak kabaca örtüşüyor; sağlayıcılar da kendi formatlama token'larını ekliyor. O
yüzden sayıları tahmin olarak görün. Hangi parçanın büyüdüğünü göstermeye yetiyorlar. Onları her istekte
sağlayıcının gerçek toplamının yanına loglayın; uzun bir konuşmaya ilk baktığınızda neyi düzeltmeniz
gerektiğini büyük ihtimalle bileceksiniz.
Sabit olanlar önce
Sıralama iki sebepten önemli. Baştaki talimatlar kendilerinden sonra gelen her şeyin çerçevesini çiziyor. Bir de prompt caching'in sizin için çalışıp çalışmayacağını sıralama belirliyor.
Büyük sağlayıcılar önceki bir prompt'un başı için yaptıkları işi yeniden kullanabiliyor, ama yalnızca birebir aynı bir prefix için: cache'lenen kısım ilk token'dan ilk farka kadar uzanıyor. Bazı sağlayıcılar bunu otomatik yapıyor, bazıları cache'lenebilir kısmın nerede bittiğini işaretlemenizi istiyor; bir minimum uzunluk var ve cache birkaç dakika kullanılmayınca sona eriyor. Bir hit o input token'larını ucuzlatıyor ve ilk token'a kadar geçen süreyi kısaltıyor. OpenAI ve Anthropic dokümantasyonları, tool tanımlarının bu prefix'in parçası olduğunu açıkça söylüyor; tool eklemek, çıkarmak ya da sıralarını değiştirmek prefix'i değiştiriyor.
Yani: önce tool'lar ve system prompt, istekler arasında byte byte aynı. System prompt'ta timestamp, kullanıcı adı ya da request id yok; onlar en son mesaja gidiyor. Sonra sonuna eklenerek büyüyen geçmiş. En sonda getirilen dokümanlar ve yeni soru.
Bir sonraki kuralla bir gerilim var. Geçmişi her kırptığınızda ya da özetlediğinizde prefix'i o noktadan itibaren değiştiriyorsunuz. Her turda bir mesaj atmak yerine daha büyük adımlarla kırpmak, prefix'i iki kesim arasında sabit tutuyor.
Geçmişi turlara göre kırpın, attığınızı özetleyin
Yalnızca son mesajları tutmak en basit bütçe, ama yanlış yerden yapılan bir kesim isteği bozuyor. Onu üreten tool call'u olmayan bir tool sonucu bazı sağlayıcılar için geçersiz girdi, hepsi için de kafa karıştırıcı. Bu yüzden yalnızca bir kullanıcı turunun başladığı yerden kesiyorum:
static List<ChatMessage> KeepRecentTurns(
List<ChatMessage> history, Func<ChatMessage, int> count, int budget)
{
int used = 0, start = history.Count;
for (int i = history.Count - 1; i >= 0; i--)
{
used += count(history[i]);
if (used > budget) break;
if (history[i].Role == ChatRole.User) start = i; // yalnızca bir turun başladığı yerden kes
}
return history.GetRange(start, history.Count - start);
}
Baştan düşenleri daha ucuz bir model, son turların önünde duran kısa bir paragrafa özetleyebilir.
Microsoft.Extensions.AI'da bunun için deneysel reducer'lar var: MessageCountingChatReducer ve
SummarizingChatReducer. Token yerine mesaj sayıyorlar, bu daha zayıf bir bütçe, ama makul bir başlangıç.
Bir özet ayrıntı kaybediyor ve hangi ayrıntıyı kaybedeceğini siz kontrol etmiyorsunuz. Konuşmanın dayandığı bilgileri, örneğin konuşulan sipariş id'sini, kullanıcının onayladığı bir kararı ya da belirttiği bir kısıtı, bir özetin hatırlamasına bırakmak yerine kodunuzun prompt'a yazdığı açık bir state olarak tutmak daha iyi.
Tool çıktısını kırpın ve bunu söyleyin
Bütün bir log dosyasını ya da on bin satırı döndüren tek bir tool call, geri kalan her şeyden daha fazla yer kaplayabilir. Ona bir sınır koyun ve modele bunu yaptığınızı söyleyin:
static string Truncate(string output, int maxChars) =>
output.Length <= maxChars
? output
: output[..maxChars] +
$"\n[Output truncated: showing the first {maxChars} of {output.Length} characters. " +
"Narrow the query or ask for the next page to see more.]";
Bu not olmadan model yarım bir listeyi tam sanıyor ve ondan emin bir şekilde cevap veriyor. Notla birlikte geri kalanını isteyebiliyor. Daha da iyisi, filtreleri ve sayfalamasıyla en baştan daha az döndüren bir tool; bunu bir LLM'in doğru kullanabileceği tool'lar tasarlamak yazısında anlattım.
Doldurmak yerine getirin
Cevap büyük bir doküman kümesinin içindeyse, hepsini "ne olur ne olmaz" diye prompt'a koymak her istekte bedelin tamamını ödüyor ve ilgili paragrafı ortaya gömüyor. İşe yarayan birkaç chunk'ı arayın ve yalnızca onları gönderin; RAG'in bütün fikri bu. Getirilen metin, insanların ona verdiğinden daha küçük bir bütçeyi de hak ediyor. Yirmi vasat chunk yerine dört iyi chunk göndermeyi tercih ederim; verinizin kaç tanesine ihtiyaç duyduğu ise tahmin edilecek değil, ölçülecek bir şey.
Tool listesini kısa tutun
Her tool tanımının bedeli her istekte ödeniyor ve her ekstra tool, modelin yanlış seçebileceği bir seçenek daha. Altmış tool'u olan bir agent, window'unun kayda değer bir kısmını bu konuşmada kullanmayacağı şeyleri anlatmaya harcıyor. Daha az ve daha geniş kapsamlı tool'lar işe yarıyor; yalnızca mevcut göreve uygun tool'ları sunmak da.
O kümeyi mesaj başına değil, görev başına bir kez seçin. Tool tanımları cache'lenen prefix'in parçası; turlar arasında değişen bir tool listesi, değişikliğin olduğu yerden sonraki her şeyin cache'ini geçersiz kılıyor.
Bu kuralların hiçbiri zekice değil. Kıt olan her kaynakla yapacağınız şeyler: nereye gittiğini bilin, sabit parçaları yeniden kullanılabilecekleri yere koyun ve artık işe yaramayan şeyler için tekrar tekrar ödemeyi bırakın.
