Vektörler yetmez: hybrid search ve reranking
RAG tutorial'larının çoğunda retrieval adımı aynı: soruyu embed et, vector store'dan en yakın chunk'ları iste, prompt'a koy. Demo sorularında iyi çalışıyor, çünkü o sorular genelde dokümanlara benzer bir dille sorulmuş oluyor. Sonra biri kutuya bir hata kodu yapıştırıyor ve genel olarak hatalardan bahseden beş chunk alıyor; hiçbiri o kodla ilgili değil.
Bu kötü bir embedding modelinin suçu değil; embedding araması zaten bunun için yapılmamış. Bu yazı, başka bir şeyi ayarlamadan önce ekleyeceğim iki parçayı anlatıyor: vektörlerin yanına keyword search ve ikisini sıralamaya göre birleştirmek, sonra da sonucun üzerine bir reranker.
Embedding'ler neyde iyi, neyi kaybediyorlar?
Bir embedding modeli bir metin parçasını, benzer anlamların birbirine yakın durduğu bir uzayda tek bir noktaya çeviriyor. "Paramı nasıl geri alırım" sorusunda, doküman "iade politikası" dese bile doğru yeri bulmasının nedeni tam olarak bu. Hiçbir keyword search bunu tek başına yapamaz.
Kesin terimlerin kaybolduğu yer de aynı sıkıştırma. Bütün bir chunk birkaç yüz ya da birkaç bin sayıya dönüşüyor ve içindeki tek bir nadir token noktayı neredeyse hiç oynatmıyor. Bazı durumlar tekrar tekrar başarısız oluyor:
- Hata kodları ve ID'ler.
ERR_4012ileERR_4013sizin için farklı şeyler, model için neredeyse aynı şey. Bir sipariş numarasının ya da ticket ID'sinin embed edilecek bir anlamı hiç yok. - Ürün ve kütüphane isimleri. Modelin eğitimde nadiren gördüğü bir isim sub-word parçalarına bölünüyor ve o parçalar neye benziyorsa onun yanına düşüyor.
- Sürüm numaraları ve flag'ler. "3.2.1'de düzeltildi" ile "3.1.2'de düzeltildi" cosine similarity için aynı görünüyor.
- Kısa sorgular. İki kelimelik bir sorgu az anlam taşıyor; aynı konudaki dokümanlar arasında en yakın komşuları neredeyse rastgele.
Kesin bir terim yazan kişi genellikle tam olarak o terimi içeren dokümanı istiyor. Embedding araması bunu garanti edemez.
Keyword search hâlâ işini yapıyor
Full-text search tam tersi çalışıyor. Token'ların kendisini indeksliyor ve BM25 gibi bir sıralama
fonksiyonu bir dokümanı, sorgu terimlerinin içinde ne sıklıkla geçtiğine, bu terimlerin bütün koleksiyonda
ne kadar nadir olduğuna ve dokümanın uzunluğuna göre puanlıyor. ERR_4012 gibi nadir bir terim, tam da
nadir olduğu için yüksek ağırlık alıyor. Bir chunk onu içeriyorsa, o chunk üste çıkıyor.
Full-text search'ün yapamadığı şey ise "para iadesi"ni "refund" ile eşleştirmek. Yani ikisi rakip değil: biri nerede zayıfsa diğeri orada güçlü. İkisini birden çalıştırırsanız hem kesin eşleşmeleri hem de farklı kelimelerle sorulmuş soruları yakalarsınız.
Zor kısım ikisini birleştirmek. Cosine similarity kabaca -1 ile 1 arasında; BM25 puanlarının ise üst sınırı yok ve koleksiyona göre değişiyor. Bunları toplamak ya da ikisini de 0..1 aralığına normalize edip ortalamasını almak, korpus her değiştiğinde değişen ağırlıklar seçmek demek.
Reciprocal Rank Fusion
Reciprocal Rank Fusion bu problemi puanları tamamen yok sayıp sadece sıralamaları kullanarak aşıyor. Her retriever sıralı bir liste döndürüyor ve bir dokümanın birleşik puanı, içinde yer aldığı bütün listeler üzerinden bir toplam:
RRF(d) = Σ 1 / (k + rank_r(d))
r
rank_r(d) dokümanın r listesindeki 1'den başlayan sırası, k ise bir sabit; 60, orijinal makaledeki
değer ve hâlâ yaygın varsayılan. İki retriever'ın da üst sıralara koyduğu bir doküman, sadece birinin çok
sevdiği bir dokümanı geçiyor. Büyük bir k birinci sıra ile beşinci sıra arasındaki farkı yumuşatıyor;
böylece hiçbir liste tek başına baskın olmuyor.
Bütün algoritma birkaç satıra sığıyor:
public static class Rrf
{
public static List<(string Id, double Score)> Fuse(
IEnumerable<IReadOnlyList<string>> rankings, int k = 60)
{
var scores = new Dictionary<string, double>();
foreach (var ranking in rankings)
{
for (int i = 0; i < ranking.Count; i++)
{
// sıralar 1'den başlıyor: ilk sonuç 1 / (k + 1) katkı yapıyor
scores[ranking[i]] = scores.GetValueOrDefault(ranking[i]) + 1.0 / (k + i + 1);
}
}
return scores
.OrderByDescending(p => p.Value)
.Select(p => (Id: p.Key, Score: p.Value))
.ToList();
}
}
Kullanmak tek bir çağrı:
IReadOnlyList<string> vectorHits = await vectorIndex.SearchAsync(question, top: 50);
IReadOnlyList<string> keywordHits = await textIndex.SearchAsync(question, top: 50);
var candidates = Rrf.Fuse([vectorHits, keywordHits]).Take(50).ToList();
(vectorIndex ve textIndex, arama için ne kullanıyorsanız onun yerine duruyor; RRF'in onlardan
istediği tek şey sıralı ID'ler.)
Bilmeye değer iki şey var. RRF puanları attığı için "kötüler arasında en iyisi" ile gerçek bir eşleşmeyi ayırt edemiyor; sadece sıralıyor. Bir de kanıtları topluyor; yani iki retriever'ın da bulduğu bir doküman ciddi bir avantaj kazanıyor. Genelde istediğiniz de bu ikinci özellik.
Listenin üstünü rerank edin
Hybrid retrieval recall'u artırıyor: doğru chunk'ın ilk 50'de bir yerde olma ihtimali yükseliyor. Ama onu birinci sıraya taşımıyor. İki retriever da birbirinden ayrı encode edilmiş bir sorgu ile bir dokümanı karşılaştırıyor: dokümanın embedding'i kimse soruyu sormadan çok önce hesaplanmış, BM25 ise sadece token sayıyor.
Bir cross-encoder reranker sorguyu ve dokümanı tek bir girdi olarak birlikte okuyor ve tek bir relevance
puanı üretiyor. İkisini aynı anda gördüğü için, dokümanın ERR_4012'den sadece alakasız kodların
listelendiği bir yerde bahsettiğini ya da biraz farklı bir soruyu cevapladığını fark edebiliyor. Bu onu
iki retriever'dan da çok daha isabetli yapıyor; ama çok daha pahalı da: hiçbir şey önceden
hesaplanamıyor ve her sorgu-doküman çifti bir model çağrısı.
Bu yüzden en sona, kısa bir listenin üzerine konuyor:
Bu sayılar kural değil, ayar. Aday listesi doğru chunk'ı genelde içerecek kadar uzun, reranking'i gecikme bütçenizin içinde tutacak kadar kısa olmalı. Prompt'a kaç chunk gireceği chunk boyutuna ve modelin context'ine bağlı. Bunların her birini hisle değil, ölçerek ayarlardım.
Reranker'lar hem hosted API olarak hem de kendiniz çalıştırabileceğiniz açık modeller olarak var; MS MARCO üzerinde eğitilmiş açık cross-encoder'lar yaygın bir başlangıç noktası. RRF'in aksine, bir reranker'ın puanı aynı sorgu için dokümanlar arasında karşılaştırılabilir; yani prompt'u her seferinde beş chunk ile doldurmak yerine bir eşiğin altında kalan adayları elemek için de kullanabilirsiniz.
Muhtemelen kendiniz yazmak zorunda değilsiniz
Hybrid search artık yeterince yaygın; çoğu store bir biçimde sunuyor:
- Postgres: embedding'ler için pgvector ve yerleşik
tsvectorfull-text search aynı veritabanında duruyor; iki arama ve birleştirme tek bir SQL sorgusu olabiliyor. Postgres'in full-text eşleşmelerits_rankile sıraladığını not edin; bu BM25 değil, ama burada aynı rolü oynuyor. - Azure AI Search tek bir istekte bir vector sorgusu ile bir full-text sorgusunu çalıştırıp RRF ile birleştiriyor; semantic ranker'ı da sonucun üst kısmını rerank edebiliyor.
- Elasticsearch, OpenSearch, Qdrant ve Weaviate'in her birinin vector ve keyword sonuçlarını birleştirmek için kendi yolu var.
Benim bakacağım şey hangisinde bu özelliğin olduğu değil, birleştirilmeden önce iki listeyi ayrı ayrı görüp göremediğiniz. Bir soru yanlış chunk döndürdüğünde sorulacak ilk soru hangi retriever'ın kaçırdığı; buna da ancak her birini kendi başına görebiliyorsanız cevap verebilirsiniz.
Hangi sırayla yapardım?
- Vector search'ü tutun, yanına keyword search ekleyin.
- İkisini RRF ile,
k = 60ile birleştirin ve bir ölçüm aksini söyleyene kadar öyle bırakın. - Birleşik listenin ilk N'inin üzerine bir cross-encoder koyun.
- Prompt'a ancak ondan sonra bakın.
Her adım yerini kendi sorularınızdaki sayılarla hak etmeli; benim ya da bir vendor'ın sorularıyla değil. Prompt'u ayarlamadan önce retrieval'ı ölçün yazısı bu sayıları ucuza nasıl elde edeceğinizi anlatıyor.
