Prompt'u ayarlamadan önce retrieval'ı ölçün
Bir RAG sistemi yanlış cevap verdiğinde ilk el atılan yer prompt oluyor. "Sadece aşağıdaki context'i kullan" ekleniyor, "bilmiyorsan bilmediğini söyle" ekleniyor, başka bir model deneniyor. Bazen işe yarıyor. Ama çoğu zaman asıl sorun bir adım önce yaşanmış oluyor: cevabı içeren chunk prompt'a hiç ulaşmamış ve hiçbir ifade bir modele, ona hiç gösterilmemiş bir dokümanı alıntılatamaz.
Bu yüzden değerlendirmeyi iki soruya ayırıyor ve sırayla cevaplıyorum. Retrieval doğru kaynakları buldu mu? O kaynaklar verildiğinde, generation onları iyi kullandı mı?
İki problem, iki tür ölçüm
Retrieval bir arama problemi ve aramanın onlarca yıldır iyi metrikleri var. Bir soru listesine ve her soru için cevabı içeren kaynaklara ihtiyacınız var. Retriever'ı çalıştırın, karşılaştırın. LLM gerektirmiyor, ucuz ve sabit bir indeksle her seferinde aynı sayıyı veriyor.
Generation'ı puanlamak daha zor. Cevap serbest metin ve "doğru" olması kaynakların ne dediğine bağlı. Yaygın ölçüler şunlar:
- Faithfulness, ya da groundedness: cevaptaki her iddia, getirilen context tarafından destekleniyor mu? Bu, modelin boşlukları kendi eğitiminden doldurduğu durumları yakalıyor.
- Answer relevance: cevap sorulan soruyu mu karşılıyor, yoksa ona yakın başka bir soruyu mu?
İkisi de genellikle başka bir model tarafından puanlanıyor ve bunun kendi sorunları var (aşağıda değineceğim). Retrieval'dan başlamanın bir nedeni daha: kesin olarak ölçebildiğiniz yarı o.
İki retrieval metriği yeterli
Recall@k şunu soruyor: cevabı içeren kaynakların kaçı ilk k sonuçta? Bir soru iki doküman
gerektiriyorsa ve ilk beş sonuç bunlardan birini içeriyorsa, o soru için recall@5 0,5. Bütün sorular
üzerinden ortalamasını alın. k'yı gerçekte prompt'a koyduğunuz sayıya göre seçin: prompt'a beş chunk
giriyorsa önemli olan recall@5; recall@50 ise bir reranker'ın üzerinde çalışacak bir şeyi olup olmadığını
söylüyor.
MRR, yani mean reciprocal rank, ilk doğru kaynağın ne kadar yukarıda olduğunu soruyor. İlk ilgili sonucu 1. sırada olan bir soru 1 alıyor, 2. sırada 0,5, 4. sırada 0,25, hiç bulunamazsa 0. Recall cevabın orada olup olmadığını söylüyor; MRR ise modelin en çok dikkat ettiği üst sıralara yakın olup olmadığını.
İkisi de birkaç satır C#:
public sealed record GoldenCase(string Question, IReadOnlySet<string> ExpectedSources);
public static class RetrievalMetrics
{
// Beklenen kaynakların ilk k sonuçta bulunan oranı.
public static double RecallAtK(IReadOnlyList<string> retrieved, IReadOnlySet<string> expected, int k) =>
(double)retrieved.Take(k).Distinct().Count(expected.Contains) / expected.Count;
// İlk beklenen kaynağın sırasının tersi; hiçbiri gelmediyse 0.
public static double ReciprocalRank(IReadOnlyList<string> retrieved, IReadOnlySet<string> expected)
{
for (int i = 0; i < retrieved.Count; i++)
{
if (expected.Contains(retrieved[i])) return 1.0 / (i + 1);
}
return 0;
}
}
Bir de bunları bütün set üzerinde çalıştıran döngü; ilk sonuçların kaynak ID'lerini sırasıyla döndüren bir fonksiyon verildiğinde:
public static async Task<(double RecallAtK, double Mrr)> EvaluateAsync(
IReadOnlyList<GoldenCase> cases,
Func<string, Task<IReadOnlyList<string>>> search,
int k)
{
double recall = 0, rr = 0;
foreach (var c in cases)
{
IReadOnlyList<string> sources = await search(c.Question);
recall += RetrievalMetrics.RecallAtK(sources, c.ExpectedSources, k);
rr += RetrievalMetrics.ReciprocalRank(sources, c.ExpectedSources);
}
return (recall / cases.Count, rr / cases.Count);
}
Bunun ilk refactor'dan sağ çıkıp çıkmayacağını tek bir detay belirliyor: chunk'ları değil, kaynakları
etiketleyin. Beklenen cevap "chunk 1834" ise, chunk boyutunu değiştirdiğiniz an etiketler geçersiz
oluyor. "İade runbook'u" ise (ya da runbook artı bir bölüm başlığı), getirilen her chunk'ı kaynak
dokümanına eşlersiniz ve aynı golden set her chunking değişikliğinde çalışmaya devam eder. Kodun
Distinct() çağırmasının nedeni de bu: aynı dokümandan gelen üç chunk bir kez sayılıyor.
30-50 soruluk bir golden set
Golden set'in büyük olması gerekmiyor. Gerçek olması ve retrieval'ın başarısız olduğu yolları kapsaması gerekiyor. Ben şöyle kurardım:
- Varsa gerçek sorulardan başlayın: destek ticket'ları, arama log'ları, insanların chat'te sordukları. İndeksi kuran kişinin yazdığı sorular dokümanların diliyle sorulur ve indeksi olduğundan iyi gösterir.
- Kesin terim içeren sorular ekleyin: hata kodları, ürün isimleri, ID'ler, sürüm numaraları. Saf vector search'ün başarısız olduğu yer burası ve bunu görmek istersiniz.
- İki kaynak gerektiren sorular ekleyin, böylece 1'in altındaki bir recall bir şey ifade etsin.
- Korpusun cevaplayamadığı birkaç soru ekleyin. Beklenen kaynakları olmadığı için retrieval metriklerine girmiyorlar, ama generation'ın bilmediğini kabul edip etmediğinin en iyi testi onlar.
- Elle etiketleyin. Dokümanları bilen biri hangilerinin cevabı içerdiğini yazıyor. Pahalı kısım bu, 40 soru için bir öğleden sonra; ve kimsenin sizin yerinize yapamayacağı kısım da bu.
Düz bir dosya olarak, test ettiği kodun yanında, repoda tutun:
[
{ "question": "What does ERR_4012 mean during checkout?", "expectedSources": ["runbook-payments"] },
{ "question": "Can I get a refund after 30 days?", "expectedSources": ["policy-refunds", "faq-billing"] }
]
Küçük bir setin size ne söyleyebileceği konusunda dürüst olun. 40 soruda bir soru, recall'da 2,5 puan demek. Bir iki soruluk bir değişiklik gürültü; sadece ortalamaya değil, hangi soruların değiştiğine bakın. Setin amacı aksi hâlde yayına çıkaracağınız gerilemeleri yakalamak, bir slayta sayı koymak değil.
CI'da çalıştırın
Retrieval değerlendirmesi, onu etkileyebilecek her değişiklikte çalıştırılacak kadar ucuz:
- chunk boyutu ve overlap,
- embedding modeli ya da sürümü,
k, aday listesinin boyutu, fusion ayarları,- bir reranker eklemek ya da değiştirmek,
- dokümanların indekslenmeden önce nasıl temizlendiğine dair değişiklikler.
Mevcut sayıları bir baseline olarak commit'leyin ve recall@k ya da MRR bilerek seçtiğiniz bir marjdan fazla düştüğünde build'i kırın. İsabetten ıskaya dönen soruları yazdırın; o liste toplamlardan daha faydalı. Bir değişikliğin amacı zaten sayıları oynatmaksa, baseline'ı aynı pull request'te güncelleyin; böylece review neye mal olduğunu ve ne kazandırdığını gösterir.
Dokümanların sabit bir snapshot'ına karşı değerlendirin. İki çalıştırma arasında korpus değişirse artık iki retriever'ı karşılaştırmıyorsunuz. Embedding modelini değiştirdiğinizde de snapshot'ın yeni modelle yeniden embed edilmesi gerekiyor; yeni sorgu embedding'lerini eski bir indeksle karşılaştırmak size hiçbir şey söylemez.
Generation ve hakem problemi
Retrieval oturduktan sonra cevapları puanlamaya değer. Faithfulness ve relevance genellikle hakem rolündeki
bir LLM tarafından puanlanıyor: soruyu, getirilen context'i ve cevabı alıyor, gerekçesiyle birlikte bir
puan döndürüyor. .NET'te Microsoft.Extensions.AI.Evaluation.Quality paketi bu türden evaluator'larla
geliyor; aralarında GroundednessEvaluator, RelevanceEvaluator ve RetrievalEvaluator var ve her biri
sizin yapılandırdığınız bir modelle 1'den 5'e puan veriyor. Yanındaki Reporting paketi modelin
cevaplarını cache'liyor ve rapor üretiyor; aynı set tekrar tekrar çalıştığında bu önemli.
Hakem faydalı, ama bilinen kusurları olan bir ölçüm aleti:
- Deterministik değil. Aynı cevap bugün 4, yarın 3 alabiliyor; temperature 0 olsa bile.
- Önyargıları var. Hakemler daha uzun cevapları tercih etmeye meyilli; kendi çıktısını değerlendiren bir model de onu beğenmeye meyilli.
- Modeliyle birlikte değişiyor. Hakemi güncellerseniz bütün puanlar oynuyor; sürümünü sabitleyin ve hakem değişikliğini testteki herhangi bir değişiklik gibi ele alın.
- Her çalıştırmada para ve zaman harcıyor.
Bu yüzden hakem puanlarını mutlak doğru olarak değil, trend olarak kullanırdım. Önce on-yirmi cevabı elle puanlayın ve hakemin çoğunlukla size katıldığını kontrol edin; katılmıyorsa, sayılarına güvenmeden önce hakemi düzeltin. Generation değerlendirmesini her commit'te değil; prompt'lar ya da modeller değiştiğinde veya bir zamanlamayla çalıştırın.
Neden bu sıra?
Recall@5 0,6 ise, her on sorudan dördü modele onu cevaplayan kaynak olmadan ulaşıyor. Hiçbir prompt bunu düzeltemez ve prompt'u ayarlamaya harcanan her saat bozuk bir girdiye karşı ölçülüyor. Sayılar oynamayı bırakana kadar retrieval'ı düzeltin, sonra prompt'u faithfulness'ı izleyen bir hakemle ayarlayın. İş her iki durumda da aynı; sıra, neyin işe yaradığını anlayıp anlayamayacağınızı belirliyor.
Hybrid search ya da bir reranker ekliyorsanız Vektörler yetmez yazısı onları anlatıyor; bu golden set de karşılığını verip vermediklerini anlamanın yolu.
