Ana içeriğe geç

"rag" ile etiketlenmiş 4 gönderi

Tüm Etiketleri Görüntüle

RAG kalitenize model değil, chunking karar veriyor

· 6 dakikalık okuma

Bir RAG sistemi kötü bir cevap verdiğinde ilk refleks modeli suçlamak ya da daha büyüğünü denemek oluyor. Oysa çoğu zaman doğru metin modele hiç ulaşmamıştır; sebebi de sorudan çok önce verilmiş bir karardır: dokümanların chunk'lara nasıl bölündüğü.

Chunk, ardından gelen her şeyin birimi. Embed edilen, sıralanan ve modelin okuduğu şey o. Bir chunk yarım bir düşünce taşıyorsa, hiçbir model öbür yarısını yerine koyamaz.

Prompt'u ayarlamadan önce retrieval'ı ölçün

· 6 dakikalık okuma

Bir RAG sistemi yanlış cevap verdiğinde ilk el atılan yer prompt oluyor. "Sadece aşağıdaki context'i kullan" ekleniyor, "bilmiyorsan bilmediğini söyle" ekleniyor, başka bir model deneniyor. Bazen işe yarıyor. Ama çoğu zaman asıl sorun bir adım önce yaşanmış oluyor: cevabı içeren chunk prompt'a hiç ulaşmamış ve hiçbir ifade bir modele, ona hiç gösterilmemiş bir dokümanı alıntılatamaz.

Bu yüzden değerlendirmeyi iki soruya ayırıyor ve sırayla cevaplıyorum. Retrieval doğru kaynakları buldu mu? O kaynaklar verildiğinde, generation onları iyi kullandı mı?

Sihirsiz RAG

· 7 dakikalık okuma

Retrieval-augmented generation kulağa bir ürün kategorisi gibi geliyor. Aslında kısa bir pipeline: kendi metinlerinizin içinden soruyla ilgili görünen parçaları bul, prompt'a yapıştır ve modelden yalnızca onlara dayanarak cevap vermesini iste.

RAG satan framework'ler bu adımları tek bir çağrının arkasına saklıyor. Bir cevap yanlış çıkana ve hangi adımın bozulduğunu anlayamayana kadar bu rahat. O yüzden burada her şeyi düz C# ile, adım adım anlatıyorum: her adım ne işe yarıyor ve nerede bozuluyor.

Vektörler yetmez: hybrid search ve reranking

· 6 dakikalık okuma

RAG tutorial'larının çoğunda retrieval adımı aynı: soruyu embed et, vector store'dan en yakın chunk'ları iste, prompt'a koy. Demo sorularında iyi çalışıyor, çünkü o sorular genelde dokümanlara benzer bir dille sorulmuş oluyor. Sonra biri kutuya bir hata kodu yapıştırıyor ve genel olarak hatalardan bahseden beş chunk alıyor; hiçbiri o kodla ilgili değil.

Bu kötü bir embedding modelinin suçu değil; embedding araması zaten bunun için yapılmamış. Bu yazı, başka bir şeyi ayarlamadan önce ekleyeceğim iki parçayı anlatıyor: vektörlerin yanına keyword search ve ikisini sıralamaya göre birleştirmek, sonra da sonucun üzerine bir reranker.