Neden her LLM çağrısının önüne bir gateway koyuyorum?
· 7 dakikalık okuma
Bir model sağlayıcısını çağıran ilk servis bunu doğrudan yapar ve bunda bir sorun yok. Dördüncü serviste her biri kendi provider key'ini tutuyor, her birinin kendi retry politikası var ve fatura gelene kadar şirketin modellere ne harcadığını kimse söyleyemiyor.
Gateway, her model çağrısının yolunda duran tek bir servis. Akıllı bir şey değil. Key'leri tutuyor, parayı sayıyor, limitleri uyguluyor, ne olduğunu kaydediyor ve bir sağlayıcı çöktüğünde trafiği başka yere taşıyor. Bunların çoğu sıradan tesisat. Bir kısmı, iki kez ödemeden retry yapmak, bu yazının büyük bölümünü hak edecek kadar ince.
