Ana içeriğe geç

RAG kalitenize model değil, chunking karar veriyor

· 6 dakikalık okuma

Bir RAG sistemi kötü bir cevap verdiğinde ilk refleks modeli suçlamak ya da daha büyüğünü denemek oluyor. Oysa çoğu zaman doğru metin modele hiç ulaşmamıştır; sebebi de sorudan çok önce verilmiş bir karardır: dokümanların chunk'lara nasıl bölündüğü.

Chunk, ardından gelen her şeyin birimi. Embed edilen, sıralanan ve modelin okuduğu şey o. Bir chunk yarım bir düşünce taşıyorsa, hiçbir model öbür yarısını yerine koyamaz.

İyi bir chunk nedir?​

İyi bir chunk tek bir şey hakkındadır ve kendi başına anlam taşır.

Tek bir şey hakkında, çünkü embedding'i keskin olsun, üç konunun ortalaması olmasın. Kendi başına anlam taşır, çünkü model onu komşuları olmadan okuyor ve yine de kullanabilmesi gerekiyor. Bu ikisi ters yönlere çekiyor: chunk küçüldükçe daha odaklı oluyor ama daha az bağlam taşıyor. Her chunking stratejisi, bu ikisi arasında bir takas yapmanın bir yolu.

Sabit boyutlu chunking​

En basit strateji her N token'da yeni bir chunk başlatmak. Her metinde çalışıyor ve maliyeti tahmin etmeyi kolaylaştırıyor. Ama sayaç nerede biterse orada kesiyor: bir cümlenin ortasında, bir başlıkla ilk paragrafı arasında, bir kod örneğinin yarısında. Bir metodun imzası bir chunk'ta, gövdesi bir sonrakinde kalıyor ve ikisi de tek başına işe yaramıyor.

Bilinen yama overlap: her chunk'ın sonunu bir sonrakinin başında tekrarlamak; böylece sınırda kesilen bir cümle en az birinde bütün olarak yer alıyor. Overlap işe yarıyor ama bir bedeli var. Depolamayı ve embedding çağrılarını artırıyor ve top-k'daki yerleri aynı metnin iki kopyasıyla dolduran, birbirine çok benzeyen sonuçlar üretiyor. Yoğun overlap'i sınırların yanlış yerde olduğunun işareti olarak görüyorum.

Yapıyı tanıyan chunking​

Geliştiricilerin aramak istediği dokümanların çoğunun zaten bir yapısı var: başlıklar, paragraflar, listeler, kod blokları. Bir fikrin nerede bitip diğerinin nerede başladığına yazar zaten karar vermiş. Bunu kullanın.

Markdown için başlayacağım kurallar şunlar:

  • her başlıkta yeni bir chunk başlat;
  • bir bölüm çok uzunsa onu paragraf sınırlarından, yani boş satırlardan böl;
  • bir code fence'in içinden asla bölme; tek chunk'a sığmayacak kadar büyük bir kod bloğu kendi başına bir chunk olsun;
  • bir başlığı altındaki metinle birlikte tut, çünkü yalnızca başlıktan oluşan bir chunk gürültüdür.

Aynı fikir başka formatlara da taşınıyor. HTML'in başlık ve pre elemanları var, kaynak kodun fonksiyonları ve sınıfları, bir transkriptin konuşmacı sıraları. Sabit boyutlu bölme, gerçekten hiçbir yapısı olmayan metin için bir yedek; varsayılan değil.

Chunk boyutu​

Herkes için doğru bir boyut yok. Küçük chunk'lar keskin embedding'ler ve keskin eşleşmeler veriyor ama her biri az bağlam taşıyor ve bir cevap üçüne birden ihtiyaç duyabiliyor. Büyük chunk'lar sonuç başına daha fazla bağlam getiriyor ama embedding'leri konular arasında bulanıklaşıyor, prompt'a daha azı sığıyor ve model daha fazla alakasız metnin arasından geçmek zorunda kalıyor.

Sorular da önemli. "Varsayılan timeout ne?" gibi bir arama küçük chunk'larla iyi karşılanıyor. "Retry politikası nasıl çalışıyor?" ise bütün bir bölüm istiyor. Embedding modelinin de rahatça altında kalmanız gereken bir girdi limiti var.

O yüzden bir başlangıç noktası seçin (birkaç yüz token yaygın bir başlangıç), sonra onu hisle değil, Sihirsiz RAG yazısında anlattığım gibi cevabı bilinen gerçek sorulardan oluşan bir sete göre değiştirin. Karakter yerine token sayın, çünkü hem embedding limiti hem de prompt bütçesi token cinsinden.

Her chunk'ta metadata tutun​

Kaynağı olmayan bir chunk, kime ait olduğu belirtilmemiş bir alıntı gibidir. En azından şunları tutun:

  • kaynak doküman, bir path ya da URL olarak;
  • Guide > Install > Windows gibi başlık yolu;
  • dokümandaki konumu;
  • neye göre filtreleyecekseniz o: ürün, versiyon, dil, kimin okuyabileceği.

Bu metadata üç iş görüyor. Kullanıcıya tıklayabileceği bir atıf veriyor. Sıralamadan önce filtrelemenizi sağlıyor: yalnızca 3. versiyonun dokümanları, yalnızca bu kullanıcının görmesine izin verilen dokümanlar. Bu filtrelemeyi top-k'dan sonra değil, aramanın bir parçası olarak store'da yapın; yoksa k sonucun hepsi filtrede elenebilir. Erişim kontrolünü de asla modele bırakmayın; kullanıcının okuyamayacağı bir doküman prompt'a hiç ulaşmamalı. Üçüncü iş ise chunk'ları sonradan yeniden bir araya getirmek; aşağıdaki small-to-big retrieval buna dayanıyor.

Markdown'ı tanıyan bir chunker​

public sealed record MdChunk(string Source, string HeadingPath, string Text);

public static IEnumerable<MdChunk> Chunk(string source, string markdown)
{
var headings = new List<string>();
var buffer = new StringBuilder();
bool inFence = false;

foreach (var line in markdown.ReplaceLineEndings("\n").Split('\n'))
{
if (line.TrimStart().StartsWith("```")) inFence = !inFence;

int level = inFence ? 0 : line.TakeWhile(ch => ch == '#').Count();
if (level is > 0 and <= 6 && line.Length > level && line[level] == ' ')
{
if (Flush() is { } chunk) yield return chunk;
while (headings.Count >= level) headings.RemoveAt(headings.Count - 1);
headings.Add(line[(level + 1)..].Trim());
continue;
}

buffer.AppendLine(line);
}

if (Flush() is { } last) yield return last;

MdChunk? Flush()
{
var text = buffer.ToString().Trim();
buffer.Clear();
return text.Length == 0 ? null : new(source, string.Join(" > ", headings), text);
}
}

Başlık yolu bir stack. 2. seviye bir başlık, 2. seviye ve daha derindeki her şeyi çıkarıp kendini ekliyor; böylece # Guide altındaki ## Install altındaki ### Windows, Guide > Install > Windows oluyor. Bir fence satırı bir bayrağı çeviriyor; böylece bir bash bloğunun içindeki # comment başlık sanılmıyor.

Bu bir taslak. Çok uzun bölümleri bölmüyor, setext başlıklarını (altı === ile çizilenleri) tanımıyor ve front matter'ı atlamıyor. Gerçek dokümanlar için satır okumak yerine Markdig gibi bir markdown parser'ın syntax tree'sini gezerdim.

Bağlam başlıkları​

Install > Windows altında "Kurulumu yönetici olarak çalıştırın." diyen bir chunk düşünün. Tek başına embed edildiğinde içinde Windows kelimesi hiç geçmiyor ve Windows'a kurulumla ilgili bir soru onunla ancak zayıf bir şekilde eşleşiyor. Bilgi dokümanda vardı; chunker onu attı.

Çözümü ucuz: embed etmeden önce metnin başına kısa bir başlık koyun.

static string TextToEmbed(MdChunk c) => $"{c.Source}\n{c.HeadingPath}\n\n{c.Text}";

Aynı başlığı prompt'ta modele de gösterin; böylece her kaynağın nerede durduğunu bilsin. Daha da ileri gidip her chunk için, dokümanın neresine oturduğunu anlatan bir iki cümlelik bağlamı bir modele yazdırabilirsiniz. Bu, indexing sırasında chunk başına bir model çağrısına mal oluyor. Başlık yolu ise bedava; önce onu deneyin.

Small-to-big retrieval​

Boyut takasının bir çıkış yolu var: arama için bir boyut, okuma için başka bir boyut kullanmak. Hassas eşleşme için küçük chunk'ları, her biri bir paragraf olacak şekilde index'leyin ve her birine geldiği bölümün id'sini verin. Soru geldiğinde küçük chunk'ları sıralayın, sonra modele onların ait olduğu üst bölümleri verin.

public sealed record SmallChunk(string ParentId, string Text, ReadOnlyMemory<float> Vector);

// hits: the top-k small chunks; sections: parent id -> full section text
var context = hits
.Select(h => h.Chunk.ParentId)
.Distinct()
.Select(id => sections[id]);

Aynı bölümdeki iki eşleşme tek bir üst bölüme dönüşüyor; istediğiniz de bu. Bedeli boyut: üst bölümler daha büyük, prompt'a daha azı sığıyor. Ara bir yol, bütün bölüm yerine her küçük chunk'ı yalnızca hemen komşularıyla birlikte döndürmek.

Ben nereden başlardım?​

Başlıklardan bölün, başlık yolunu her chunk'ta tutun ve embed etmeden önce başa ekleyin, ve herhangi bir şeyi ayarlamadan önce test sorularınızın setini kurun. Ters giden şeylerin çoğu orada ortaya çıkacak. Bölümler iyi embed edilemeyecek kadar uzun çıkarsa small-to-big'e, başlık yolları yetmezse üretilmiş bağlama uzanın. Her seferinde tek bir şeyi değiştirin ve her değişiklikten sonra aynı soruları yeniden çalıştırın.