Ana içeriğe geç

"dotnet" ile etiketlenmiş 5 gönderi

Tüm Etiketleri Görüntüle

Zaten çalıştırdığınız Postgres'te vektör araması

· 8 dakikalık okuma

Bir RAG prototipi in-memory listesine sığmaz hale geldiğinde, genelde bir sonraki adım yeni bir altyapı parçası oluyor: kendi deployment'ı, kendi backup'ları ve içine veri kopyalayan bir senkronizasyon job'ı olan ayrı bir vector database. Zaten Postgres çalıştırıyorsanız daha kısa bir yol var. pgvector, elinizdeki veritabanına bir vektör tipi, mesafe operatörleri ve approximate index'ler ekliyor; vektörler de tarif ettikleri metinle aynı satırlarda duruyor.

Bu yazı, production'a almadan önce bilmek isteyeceğim şeyler: kolon, operatörler, index'ler ve ayarları, filtreleme tuzağı ve bunların .NET'ten nasıl göründüğü.

Sihirsiz RAG

· 7 dakikalık okuma

Retrieval-augmented generation kulağa bir ürün kategorisi gibi geliyor. Aslında kısa bir pipeline: kendi metinlerinizin içinden soruyla ilgili görünen parçaları bul, prompt'a yapıştır ve modelden yalnızca onlara dayanarak cevap vermesini iste.

RAG satan framework'ler bu adımları tek bir çağrının arkasına saklıyor. Bir cevap yanlış çıkana ve hangi adımın bozulduğunu anlayamayana kadar bu rahat. O yüzden burada her şeyi düz C# ile, adım adım anlatıyorum: her adım ne işe yarıyor ve nerede bozuluyor.

LLM cevaplarını Server-Sent Events ile tarayıcıya stream etmek

· 7 dakikalık okuma

Bir model cevabını token token yazıyor. API'niz bir şey döndürmek için son token'ı bekliyorsa kullanıcı bütün üretim boyunca bir spinner'a bakıyor; oysa ilk cümle çok daha önce hazırdı.

Stream etmek bunu çözüyor ve ASP.NET Core'da artık birkaç satırlık bir iş. İlginç kısımlar o satırların etrafında: hangi transport'u kullanacağınız, kullanıcı sekmeyi kapattığında ne olduğu, proxy'lerin uzun bir response'a ne yaptığı ve "stream'e kaldığı yerden devam etmek"in sunucunuzdan aslında ne istediği.

Bir LLM'den yapılandırılmış veri almak

· 7 dakikalık okuma

İşe yarayan LLM işlerinin çoğu aslında sohbet değil. Modele bir fatura, bir sözleşme ya da bir e-posta veriyorsunuz ve karşılığında alanlar istiyorsunuz: bir sayı, bir tarih, bir satır listesi; kodunuzun saklayabileceği ve toplayabileceği bir şey. Model dağınık dokümanları okumakta iyi. Bir programın güvenebileceği bir çıktı vermekte ise varsayılan olarak iyi değil.

Extraction kodunun çoğu tam bu iki şeyin arasındaki boşlukta bozuluyor. Bu yazıda o boşluğu C# ile, örnek olarak bir fatura üzerinden kapatıyorum: bir şekil iste, gelen cevabı bir yabancı göndermiş gibi kontrol et, gerekçesiyle tekrar dene ve ne zaman durup bir insana sorman gerektiğini bil.

Orion ailesini neden yaptım

· 4 dakikalık okuma

.NET backend'lerinin çoğu sonunda aynı düzine şeye ihtiyaç duyuyor: validation, distributed lock, audit kaydı, outbox, şifreli kolonlar, tipli ID'ler, idempotent endpoint'ler, rate limit, retry. Her ekip bunları yeniden yazıyor; her seferinde biraz farklı, her biri kendince biraz hatalı.

Orion ailesi buna benim cevabım: bu problemlerin her biri için küçük, odaklı, tek bir kalite çıtasıyla yazılmış ve NuGet'te yayınlanmış kütüphaneler.