Tek model tuzağı
Her büyük yapay zekâ sağlayıcısı, amiral gemisi modelinin her sorunun doğru cevabı olduğuna inanmanızı ister. Bu inanç onlar için ticari olarak elverişli, sizin için teknik olarak yanlıştır.
Uzun bağlamlı hukuki akıl yürütmede parlayan bir model, on kelimelik bir görsel altyazısı üretmek için doğru model değildir. En ileri görme yeteneğine sahip bir model, yapılandırılmış JSON'u yeniden biçimlendiren bir toplu iş için fazladan — ve muhtemelen bütçe aşımıdır. Fiyatlandırması işlem hacmi için iyileştirilmiş bir model, iki saniyelik etkileşimli bir yanıta ihtiyacınız olduğunda olabilecek en kötü seçim olabilir.
Tek bir model üzerine inşa ettiğinizde en iyi aracı seçmiş olmazsınız. Yapay bir kısıtın içindeki en iyi aracı seçmiş olursunuz. Zamanla bu kısıt birikir: basit işlere fazla para verirsiniz, karmaşık olanlarda eksik kalırsınız ve o sağlayıcının bir kesintisi ya da zam yaptığı gün bütün ürününüz durur.
İsimler değil, yetenekler
İşe yarayan soyutlama "hangi model" değil, "bu istek hangi yeteneklere ihtiyaç duyuyor" sorusudur. Bu sorunun kesin bir cevabı vardır.
Yüklenmiş bir ekran görüntüsü içeren bir sohbet mesajı görmeye ihtiyaç duyar. Dış bir API çağıran bir iş akışı adımı araçlara ihtiyaç duyar. Kendi çıktısını denetlemesi gereken bir kodlama asistanı kod yürütmeye ihtiyaç duyar. Hızlı olması gerekmeyen gecelik bir özetleme hattı toplu katman fiyatlandırmasını kullanabilir; kullanıcının başında beklediği ürün içi bir asistan kullanamaz.
Önce yetenek gereksinimlerini sıraladığınızda, model seçimi bir süz-ve-sırala problemine dönüşür. Gerekli bir küme verildiğinde — diyelim metin, görme ve yapılandırılmış çıktı — üçünü de destekleyen her modeli bulun, sonra mevcut istek bağlamı için kaliteye ve fiyata göre sıralayın. Bu sıralama, kullanıcının ne yaptığına ve karşılık durumuna göre istekten isteğe değişebilir.
ToRun'un yönlendirme hattının yaptığı budur. Mod (Sohbet, Kod, Görsel, Araştırma ve diğerleri) bir yetenek kümesine eşlenir. Yetenek kümesi model kataloğunu süzer. Fiyat ve kalite sıralaması kazananı seçer. Sonuç şu: yüksek hacimli yapılandırılmış çıkarım için DeepSeek'i, incelikli akıl yürütme için Claude ya da GPT-4 sınıfı modelleri, geniş bağlamlı belge işi için Google Gemini'yi ve üretim için özelleşmiş bir görsel modelini — hepsini aynı ürün yüzeyinde, kendiniz dağıtım mantığı yazmadan kullanabilirsiniz.
Yedekleme lüks değildir
Sağlayıcı kesintileri nadir uç durumlar değildir. Sektör genelinde ayda birkaç kez olurlar. Ürününüzün tek sağlayıcıya bağımlılığı varsa ve o sağlayıcının API'si bozulmuşsa, ürününüz de bozulmuştur.
Bir yedek zinciri işletimsel asgaridir: bir istek için birincil model geçici bir hata döndürdüğünde platform, bir sonraki en iyi yetkin modelde yeniden dener. Bu, yönlendirme katmanının hangi modellerin yetkin olduğunu zaten bilmesini gerektirir — ki yetenek öncelikli yönlendirmenin verdiği tam olarak budur.
Yedeklemenin daha az belirgin bir yararı daha var: faturalandırma davranışınızı öngörülebilir tutar. İlk tercih model geçici olarak bir kullanım tavanının üzerinde fiyatlandığında, bir sonraki yetkin modele düşmek kullanıcıya hata göstermeden maliyetleri sınırlı tutar.
Pratik çıkarım
Yapay zekâ platformlarını değerlendiriyorsanız iki soru sorun: her istek için modeli nasıl seçiyor ve o model erişilemez ya da fazla pahalı olduğunda ne oluyor?
İki sorudan birinin cevabı "hep X modelini kullanır" ise, bu bir mimari kokusudur. Bugün mevcut olan modeller, altı ay sonra var olacak en iyi modeller değildir. Yeni sağlayıcılar piyasaya girer. Fiyatlar kayar. Yetenek sınırları değişir. Model seçimini bir yapılandırma tercihi değil bir yönlendirme problemi olarak ele alan bir mimari daha iyi yaşlanır, zamanla daha az maliyet çıkarır ve baskı altında daha zarif bozulur.
Tek model bir başlangıç noktasıdır. Yönlendirme katmanı asıl temeldir.