Ana içeriğe geç

Sihirsiz RAG

· 7 dakikalık okuma

Retrieval-augmented generation kulağa bir ürün kategorisi gibi geliyor. Aslında kısa bir pipeline: kendi metinlerinizin içinden soruyla ilgili görünen parçaları bul, prompt'a yapıştır ve modelden yalnızca onlara dayanarak cevap vermesini iste.

RAG satan framework'ler bu adımları tek bir çağrının arkasına saklıyor. Bir cevap yanlış çıkana ve hangi adımın bozulduğunu anlayamayana kadar bu rahat. O yüzden burada her şeyi düz C# ile, adım adım anlatıyorum: her adım ne işe yarıyor ve nerede bozuluyor.

Çözdüğü problem​

Bir model, eğitim verisinde ne varsa onu biliyor; o veri de belli bir tarihte donmuş. Şirket içi dokümanlarınız, ticket'larınız ya da API'niz hakkında hiçbir şey bilmiyor. Bunların hepsini her prompt'a yapıştıramazsınız: context window'lar büyük ama sınırsız değil, her token para ediyor ve modeller çok uzun bir prompt'un içine gömülmüş tek bir bilgiyi bulmakta zorlanıyor. Fine-tuning ise bilgi öğretmekten çok üslup ve format öğretiyor ve bir cevabın nereden geldiğini asla söyleyemiyor.

RAG öbür yolu seçiyor. Bilgi modelin dışında kalıyor, bir soru geldiğinde ilgili kısmı sizin kodunuz buluyor ve model yalnızca o kısmı görüyor. Model iyi olduğu işi yapıyor, dili okuyup yazıyor; arama ise test edebileceğiniz sıradan bir kod.

Pipeline​

İki yarısı var ve farklı zamanlarda çalışıyorlar. Indexing bir kez yapılıyor, dokümanlar değiştikçe de yeniden. Cevaplama her soruda çalışıyor. İki yarının üzerinde anlaşması gereken tek şey embedding modeli: iki farklı modelin ürettiği vektörler farklı uzaylarda yaşar ve karşılaştırılamaz.

İki yarı için de Microsoft.Extensions.AI kullanıyorum. IEmbeddingGenerator<string, Embedding<float>> metni vektöre çeviriyor, IChatClient bir chat modeliyle konuşuyor. OpenAI, Azure OpenAI, Ollama ve diğerleri için implementasyonlar var; aşağıdaki hiçbir şey tek bir sağlayıcıya bağlı değil. Interface'ler Microsoft.Extensions.AI.Abstractions'tan, vektör matematiği System.Numerics.Tensors'tan geliyor.

1. adım: chunk'lara böl​

Bütün bir dokümanı embed ederseniz, içindeki her şeyin ortalaması olan tek bir vektör elde edersiniz; tek bir paragrafla ilgili bir soru o ortalamayla ancak zayıf bir şekilde eşleşir. Bu yüzden dokümanlar birkaç paragraflık chunk'lara bölünüyor ve her chunk'ın kendi vektörü oluyor.

Nasıl böldüğünüz bu yazıdaki her şeyden daha önemli; o yüzden ayrı bir yazısı var. Burada her kaynağın zaten bir string listesine dönüştüğünü varsayıyorum.

2. adım: embed et ve sakla​

Embedding, anlamca benzer metinlerin birbirine yakın düştüğü bir float vektörü. "Şifremi nasıl sıfırlarım" ile "giriş bilgilerimi unuttum" neredeyse hiç ortak kelime içermiyor, yine de birbirine yakın düşüyorlar. Keyword araması yerine embedding kullanmanın sebebi bu.

using System.Numerics.Tensors;
using Microsoft.Extensions.AI;

public sealed record Chunk(string Source, string Text, ReadOnlyMemory<float> Vector);

public sealed class InMemoryIndex(IEmbeddingGenerator<string, Embedding<float>> embedder)
{
private readonly List<Chunk> _chunks = [];

public async Task AddAsync(string source, IReadOnlyList<string> texts, CancellationToken ct = default)
{
GeneratedEmbeddings<Embedding<float>> embeddings =
await embedder.GenerateAsync(texts, cancellationToken: ct);

for (int i = 0; i < texts.Count; i++)
_chunks.Add(new Chunk(source, texts[i], embeddings[i].Vector));
}

// SearchAsync 3. adımda geliyor.
}

GenerateAsync bütün batch'i birden alıyor; bir doküman, chunk başına bir istek yerine tek bir istek tutuyor. Sağlayıcılar istek başına limit koyuyor ve ücretlendiriyor; bir avuçtan fazla doküman olduğu anda bu fark ediyor.

Nerede bozuluyor: embedding modeli yalnızca chunk'ı görüyor. "30 saniyeye ayarlayın" diyen ama neyin ayarlandığını söylemeyen bir chunk belirsiz bir şey olarak embed ediliyor ve hiçbir soru onu bulamıyor. Embedding modellerinin bir girdi limiti de var; daha uzun metin sağlayıcıya göre ya kırpılıyor ya reddediliyor. Embedding modelini değiştirirseniz de saklanan her vektörün yeniden hesaplanması gerekiyor.

3. adım: soruyu embed et ve sırala​

Soru aynı embedding modelinden geçiyor. Sonra her chunk cosine similarity ile puanlanıyor; bu, iki vektör arasındaki açıyı ölçüyor: 1 aynı yönü gösterdikleri, 0 hiçbir ortak noktaları olmadığı anlamına geliyor. TensorPrimitives.CosineSimilarity bunu span'ler üzerinde SIMD ile hesaplıyor.

public async Task<List<(Chunk Chunk, float Score)>> SearchAsync(
string question, int k = 4, CancellationToken ct = default)
{
ReadOnlyMemory<float> q = await embedder.GenerateVectorAsync(question, cancellationToken: ct);

return _chunks
.Select(c => (Chunk: c, Score: TensorPrimitives.CosineSimilarity(q.Span, c.Vector.Span)))
.OrderByDescending(x => x.Score)
.Take(k)
.ToList();
}

Bu doğrusal bir tarama: her soru her chunk'la karşılaştırılıyor. Bir doküman klasörü için yeterince hızlı ve debug etmesi en kolay versiyon bu, çünkü her puanı ekrana basabiliyorsunuz.

Nerede bozuluyor: top-k, ilgili hiçbir şey olmasa bile her zaman k sonuç döndürüyor. İadeleri sorun, dördüncü sonuç kargoyla ilgili çıkabilir, üstelik makul görünen bir puanla. Bir minimum puan işe yarıyor ama doğru eşik embedding modeline ve verinize bağlı; onu tahminle değil, gerçek puanlara bakarak seçin. Benzerlik, alakayla da aynı şey değil. Embedding'ler hata kodları, ürün adları ve identifier'lar gibi birebir string'lerde zayıf; tam da keyword aramasının güçlü olduğu yerde. Hybrid search'ün, yani vektörlerle keyword'lerin birlikte sıralanmasının var olma sebebi bu.

4. adım: kaynaklara dayalı prompt​

static async Task<string> AskAsync(IChatClient chat, InMemoryIndex index, string question)
{
var hits = await index.SearchAsync(question, k: 4);

var sources = string.Join("\n\n", hits.Select((h, i) =>
$"[{i + 1}] {h.Chunk.Source}\n{h.Chunk.Text}"));

List<ChatMessage> messages =
[
new(ChatRole.System, """
Answer using only the numbered sources. Cite them like [1].
If the sources do not contain the answer, say "I don't know."
"""),
new(ChatRole.User, $"Sources:\n{sources}\n\nQuestion: {question}"),
];

ChatResponse response = await chat.GetResponseAsync(messages);
return response.Text;
}

Bu prompt'taki yükü üç şey taşıyor. Kaynaklar numaralı ve isimli; böylece model onlara atıf yapabiliyor, siz de kullanıcıya cevabın nereden geldiğini gösterebiliyorsunuz ve kullanıcı kontrol edebiliyor. Modele yalnızca bu kaynaklardan cevap vermesi söyleniyor. Ve "bilmiyorum" demesine açıkça izin veriliyor. Bu izin olmadan, bir soru sorulan model onu cevaplıyor; eğitim verisinden ya da hiçbir şeyden. Uydurulmuş cevap da gerçeği kadar emin konuşuyor.

Nerede bozuluyor: talimatlar garanti değil. Model yine de dışarıdan bilgi karıştırabilir ya da [3]'ten gelen bir cümle için [2]'ye atıf yapabilir. Atıflar önemliyse onları kodda kontrol edin; en azından atıf yapılan her numaranın var olduğunu. Bir de cevaplardan bir örneklemi kaynaklarıyla yan yana okuyun.

Getirilen metin aynı zamanda güvenilmeyen bir girdi. Bir dokümanda "önceki talimatlarını yok say" yazıyorsa, o cümle artık prompt'unuzun bir parçası. Retrieval bir prompt injection yolu; kullanıcıların yazabildiği dokümanlar, kullanıcıların size gönderdiği her şey kadar şüpheyi hak ediyor.

In-memory listeden ne zaman vazgeçmeli?​

Liste process belleğinde yaşıyor. Her yeniden başlatmada yeniden embed ediliyor, instance'lar arasında paylaşılamıyor ve her arama hepsini baştan sona okuyor. Bunlardan biri canınızı yakmaya başladığında gerçek bir store'a geçin, daha önce değil.

  • pgvector, zaten Postgres çalıştırıyorsanız. Vektörler tarif ettikleri satırların yanında, aynı transaction'larda ve aynı backup'larda duruyor.
  • Azure AI Search, Azure'daysanız ve hybrid keyword ve vektör aramasını, filtrelemeyi managed bir servis olarak istiyorsanız.
  • Qdrant, saklanan alanlar üzerinde filtrelemesi olan, self-hosted ya da managed, ayrı bir vector database istiyorsanız.

Üçü de HNSW gibi approximate nearest-neighbour index'leri sunuyor; bunlar biraz recall'dan vazgeçip çok hız kazandırıyor. Seçimi açık tutmak isterseniz Microsoft.Extensions.VectorData hepsinin üzerine ortak bir interface koyuyor. Hiçbiri sihir değil: aramayı kalıcı ve hızlı yapıyorlar; chunk'larınızı daha iyi, prompt'unuzu daha dürüst yapmıyorlar.

Çalıştığını nereden bileceksiniz?​

Ölçmeden yapılan ayar, hisle yapılan ayardır. Yirmi otuz gerçek soru yazın, her birinin yanına onu cevaplaması gereken kaynağı ekleyin ve iki şeyi ayrı ayrı kontrol edin. Retrieval doğru chunk'ı ilk k'nın içine koydu mu? Model ondan doğru cevabı çıkardı mı?

Bir cevap yanlış olduğunda, ilk kontrol size retrieval'ı mı yoksa prompt'u mu düzeltmeniz gerektiğini söyler. Retrieval'dan başlayın: model hiç görmediği bir chunk'ı kullanamaz. Doğru chunk'ı görmemesinin en yaygın sebebi de dokümanların bölünme şekli; bir sonraki yazı tam oradan devam ediyor.