Ana içeriğe geç

"ai" ile etiketlenmiş 14 gönderi

Tüm Etiketleri Görüntüle

RAG kalitenize model değil, chunking karar veriyor

· 6 dakikalık okuma

Bir RAG sistemi kötü bir cevap verdiğinde ilk refleks modeli suçlamak ya da daha büyüğünü denemek oluyor. Oysa çoğu zaman doğru metin modele hiç ulaşmamıştır; sebebi de sorudan çok önce verilmiş bir karardır: dokümanların chunk'lara nasıl bölündüğü.

Chunk, ardından gelen her şeyin birimi. Embed edilen, sıralanan ve modelin okuduğu şey o. Bir chunk yarım bir düşünce taşıyorsa, hiçbir model öbür yarısını yerine koyamaz.

partner-center-mcp'yi yazarken öğrendiklerim

· 7 dakikalık okuma

Partner Center REST API'siyle geliştirme yapmak, Microsoft Learn'de yaşamak demek. Microsoft, Partner Center .NET SDK'sını Haziran 2023'te arşivledi ve partner'ları REST API'lere yönlendiriyor; ama SDK hâlâ arama sonuçlarında çıkıyor. Emekliye ayrılmış graph.windows.net audience'ı için token isteyip 900420 hatasıyla 401 alan kod da öyle. Bu materyalle eğitilmiş bir model, hepsini kendinden emin bir şekilde yeniden üretiyor.

partner-center-mcp, güncel dokümantasyonu agent'ın yanına koymak için yazdığım MCP server. Bu yazı arkasındaki kararları ve bir MCP server tasarlayan herkese söyleyeceklerimi anlatıyor.

Prompt'u ayarlamadan önce retrieval'ı ölçün

· 6 dakikalık okuma

Bir RAG sistemi yanlış cevap verdiğinde ilk el atılan yer prompt oluyor. "Sadece aşağıdaki context'i kullan" ekleniyor, "bilmiyorsan bilmediğini söyle" ekleniyor, başka bir model deneniyor. Bazen işe yarıyor. Ama çoğu zaman asıl sorun bir adım önce yaşanmış oluyor: cevabı içeren chunk prompt'a hiç ulaşmamış ve hiçbir ifade bir modele, ona hiç gösterilmemiş bir dokümanı alıntılatamaz.

Bu yüzden değerlendirmeyi iki soruya ayırıyor ve sırayla cevaplıyorum. Retrieval doğru kaynakları buldu mu? O kaynaklar verildiğinde, generation onları iyi kullandı mı?

Zaten çalıştırdığınız Postgres'te vektör araması

· 8 dakikalık okuma

Bir RAG prototipi in-memory listesine sığmaz hale geldiğinde, genelde bir sonraki adım yeni bir altyapı parçası oluyor: kendi deployment'ı, kendi backup'ları ve içine veri kopyalayan bir senkronizasyon job'ı olan ayrı bir vector database. Zaten Postgres çalıştırıyorsanız daha kısa bir yol var. pgvector, elinizdeki veritabanına bir vektör tipi, mesafe operatörleri ve approximate index'ler ekliyor; vektörler de tarif ettikleri metinle aynı satırlarda duruyor.

Bu yazı, production'a almadan önce bilmek isteyeceğim şeyler: kolon, operatörler, index'ler ve ayarları, filtreleme tuzağı ve bunların .NET'ten nasıl göründüğü.

Prompt injection bir prompt sorunu değil, input sorunu

· 6 dakikalık okuma

Prompt injection genellikle modele yapılan bir numara olarak anlatılıyor: biri "önceki talimatlarını unut" yazıyor, model de uyuyor. Bu bakış açısı yanlış çözüme götürüyor. Sorun modelin kandırılmasıysa, çözüm de ona kandırılmamasını söyleyen daha iyi bir prompt gibi görünüyor.

Bence sorun bundan daha eski ve daha tanıdık. Bir sistem kontrol etmediği bir metni alıyor, kendi talimatlarıyla karıştırıyor ve sonuca göre hareket ediyor. Bu şekli daha önce SQL injection'da ve cross-site scripting'de gördük; ikisinde de çözüm veritabanından ya da tarayıcıdan daha kibar bir ricada bulunmak olmadı.

Sihirsiz RAG

· 7 dakikalık okuma

Retrieval-augmented generation kulağa bir ürün kategorisi gibi geliyor. Aslında kısa bir pipeline: kendi metinlerinizin içinden soruyla ilgili görünen parçaları bul, prompt'a yapıştır ve modelden yalnızca onlara dayanarak cevap vermesini iste.

RAG satan framework'ler bu adımları tek bir çağrının arkasına saklıyor. Bir cevap yanlış çıkana ve hangi adımın bozulduğunu anlayamayana kadar bu rahat. O yüzden burada her şeyi düz C# ile, adım adım anlatıyorum: her adım ne işe yarıyor ve nerede bozuluyor.

LLM çağrılarını cache'lemek ve semantic cache'in yalan söylediği yer

· 7 dakikalık okuma

LLM çağrıları yavaş, token başına ücretlendiriliyor ve büyük bir kısmı tekrar ediyor. Aynı destek sorusu günde yüz kez geliyor, aynı doküman her sayfa görüntülemesinde yeniden özetleniyor. Bariz çözüm cache ve iki türü var. Biri sıkıcı ve güvenli. Diğeri daha çok tasarruf ettiriyor ve kimsenin sormadığı bir soruyu cevaplayabiliyor.

Bu yazı ikisini de anlatıyor: exact-match bir cache key'in içine neler girmeli, semantic cache neden yanlış soruya doğru cevabı döndürebiliyor ve kullanıcılarınızdan önce sizin fark etmeniz için onu nasıl kapsamlandırır, expire eder ve ölçersiniz.

LLM cevaplarını Server-Sent Events ile tarayıcıya stream etmek

· 7 dakikalık okuma

Bir model cevabını token token yazıyor. API'niz bir şey döndürmek için son token'ı bekliyorsa kullanıcı bütün üretim boyunca bir spinner'a bakıyor; oysa ilk cümle çok daha önce hazırdı.

Stream etmek bunu çözüyor ve ASP.NET Core'da artık birkaç satırlık bir iş. İlginç kısımlar o satırların etrafında: hangi transport'u kullanacağınız, kullanıcı sekmeyi kapattığında ne olduğu, proxy'lerin uzun bir response'a ne yaptığı ve "stream'e kaldığı yerden devam etmek"in sunucunuzdan aslında ne istediği.

Bir LLM'den yapılandırılmış veri almak

· 7 dakikalık okuma

İşe yarayan LLM işlerinin çoğu aslında sohbet değil. Modele bir fatura, bir sözleşme ya da bir e-posta veriyorsunuz ve karşılığında alanlar istiyorsunuz: bir sayı, bir tarih, bir satır listesi; kodunuzun saklayabileceği ve toplayabileceği bir şey. Model dağınık dokümanları okumakta iyi. Bir programın güvenebileceği bir çıktı vermekte ise varsayılan olarak iyi değil.

Extraction kodunun çoğu tam bu iki şeyin arasındaki boşlukta bozuluyor. Bu yazıda o boşluğu C# ile, örnek olarak bir fatura üzerinden kapatıyorum: bir şekil iste, gelen cevabı bir yabancı göndermiş gibi kontrol et, gerekçesiyle tekrar dene ve ne zaman durup bir insana sorman gerektiğini bil.

Bir LLM'in doğru kullanabileceği tool'lar tasarlamak

· 7 dakikalık okuma

Bir modele tool verdiğinizde aslında bir API yayınlıyorsunuz. Yalnız bu API'nin tüketicisi alışılmadık biri. Kaynak kodunuzu hiç okumuyor, dokümantasyon sitesini hiç açmıyor, bir parametrenin ne anlama geldiğini bir meslektaşına sormuyor. Elinde sadece bir isim, bir paragraf açıklama ve bir JSON Schema var; tool'u çağırıp çağırmayacağına, ne zaman ve hangi değerlerle çağıracağına bunlara bakarak karar vermek zorunda.

API tasarımı hakkında doğru bildiğim her şey burada da geçerli. Fark şu: belirsizliğe tolerans kalmıyor. Bir parametreyi yanlış anlayan geliştirici bunu code review'da öğrenir; model ise production'da öğrenir, tabii öğrenirse.