Ana içeriğe geç

"agents" ile etiketlenmiş 3 gönderi

Tüm Etiketleri Görüntüle

Prompt injection bir prompt sorunu değil, input sorunu

· 6 dakikalık okuma

Prompt injection genellikle modele yapılan bir numara olarak anlatılıyor: biri "önceki talimatlarını unut" yazıyor, model de uyuyor. Bu bakış açısı yanlış çözüme götürüyor. Sorun modelin kandırılmasıysa, çözüm de ona kandırılmamasını söyleyen daha iyi bir prompt gibi görünüyor.

Bence sorun bundan daha eski ve daha tanıdık. Bir sistem kontrol etmediği bir metni alıyor, kendi talimatlarıyla karıştırıyor ve sonuca göre hareket ediyor. Bu şekli daha önce SQL injection'da ve cross-site scripting'de gördük; ikisinde de çözüm veritabanından ya da tarayıcıdan daha kibar bir ricada bulunmak olmadı.

Bir LLM'in doğru kullanabileceği tool'lar tasarlamak

· 7 dakikalık okuma

Bir modele tool verdiğinizde aslında bir API yayınlıyorsunuz. Yalnız bu API'nin tüketicisi alışılmadık biri. Kaynak kodunuzu hiç okumuyor, dokümantasyon sitesini hiç açmıyor, bir parametrenin ne anlama geldiğini bir meslektaşına sormuyor. Elinde sadece bir isim, bir paragraf açıklama ve bir JSON Schema var; tool'u çağırıp çağırmayacağına, ne zaman ve hangi değerlerle çağıracağına bunlara bakarak karar vermek zorunda.

API tasarımı hakkında doğru bildiğim her şey burada da geçerli. Fark şu: belirsizliğe tolerans kalmıyor. Bir parametreyi yanlış anlayan geliştirici bunu code review'da öğrenir; model ise production'da öğrenir, tabii öğrenirse.

Context window'a ne girer?

· 7 dakikalık okuma

Bir modelin mevcut istek hakkında bildiği her şey tek bir girdi bloğu olarak geliyor: talimatlarınız, tool tanımları, getirdiğiniz dokümanlar, o ana kadarki konuşma ve son tool'un döndürdüğü her şey. Modelin başka bir hafızası yok. Bir şey o blokta değilse, bu çağrı için yok.

Context window'lar artık o kadar büyük ki her şeyi içine koyup ayıklamayı modele bırakmak cazip geliyor. Bence bu yanlış bir varsayılan. Window bir bütçe ve her bütçe gibi, her parçanın ne için olduğuna karar verdiğinizde onu iyi harcamak daha kolay.