Prompt'u ayarlamadan önce retrieval'ı ölçün
· 6 dakikalık okuma
Bir RAG sistemi yanlış cevap verdiğinde ilk el atılan yer prompt oluyor. "Sadece aşağıdaki context'i kullan" ekleniyor, "bilmiyorsan bilmediğini söyle" ekleniyor, başka bir model deneniyor. Bazen işe yarıyor. Ama çoğu zaman asıl sorun bir adım önce yaşanmış oluyor: cevabı içeren chunk prompt'a hiç ulaşmamış ve hiçbir ifade bir modele, ona hiç gösterilmemiş bir dokümanı alıntılatamaz.
Bu yüzden değerlendirmeyi iki soruya ayırıyor ve sırayla cevaplıyorum. Retrieval doğru kaynakları buldu mu? O kaynaklar verildiğinde, generation onları iyi kullandı mı?
