Ana içeriğe geç

"testing" ile etiketlenmiş Bir gönderi

Tüm Etiketleri Görüntüle

Prompt'u ayarlamadan önce retrieval'ı ölçün

· 6 dakikalık okuma

Bir RAG sistemi yanlış cevap verdiğinde ilk el atılan yer prompt oluyor. "Sadece aşağıdaki context'i kullan" ekleniyor, "bilmiyorsan bilmediğini söyle" ekleniyor, başka bir model deneniyor. Bazen işe yarıyor. Ama çoğu zaman asıl sorun bir adım önce yaşanmış oluyor: cevabı içeren chunk prompt'a hiç ulaşmamış ve hiçbir ifade bir modele, ona hiç gösterilmemiş bir dokümanı alıntılatamaz.

Bu yüzden değerlendirmeyi iki soruya ayırıyor ve sırayla cevaplıyorum. Retrieval doğru kaynakları buldu mu? O kaynaklar verildiğinde, generation onları iyi kullandı mı?