"Sen GPT-4 kullan gitsin" sorunu
Çoğu yapay zekâ platformu sizin adınıza sessiz bir seçim yapar: sevdikleri bir modeli seçer, her şeyi ona bağlar ve yollarına devam ederler. Bu, iş bozulana kadar çalışır — model kapanana kadar, bir rakip belirli bir iş için daha iyisini çıkarana kadar, kendi API anahtarınızı getirip maliyetleri kendi hesabınızda tutmak isteyene kadar, görsel üretimine ihtiyaç duyup varsayılan modelinizin görsel üretemediğini fark edene kadar.
Alışılmış çözüm bir açılır listedir. Bir model seçin, her yerde onu kullanın, ödünleşimleri kendiniz çözün. Bu yönlendirme değil, sorumluluğu devretmektir. ToRun yapısal olarak farklı bir şey yapar.
Yetenek öncelikli hat
ToRun'daki her istek, bir modele dokunulmadan önce dört aşamadan geçer.
1. Mod ürün yüzeyini belirler. Bir Sohbet oturumu açtığınızda ya da bir Araştırma görevi başlattığınızda bir Mod seçmiş olursunuz. Mod yalnızca bir arayüz etiketi değildir — tanımlı bir gerekli ve isteğe bağlı yetenekler kümesi taşır. Bir Araştırma görevi araçlara (web araması), uzun bağlama ve yapılandırılmış çıktıya ihtiyaç duyar. Temel bir sohbet oturumu varsayılan olarak yalnızca metin üretimine ihtiyaç duyar.
2. Yetenek kümesi bir süzgece dönüşür. ToRun birçok sağlayıcıdan modellerin kataloğunu tutar — OpenAI, Anthropic/Claude, Google/Gemini, DeepSeek, xAI/Grok, Mistral ve diğerleri. Her model kaydı, gerçekten desteklediği yeteneklerin bir birleşimini taşır: görme, araçlar, kod yürütme, görsel üretimi, ses girişi, ses çıkışı, video üretimi, gömme, yeniden sıralama, gerçek zamanlı akış, akıl yürütme ve daha fazlası. Birinci adımdaki yetenek kümesi bu katalogla eşleştirilir. Gerekli yeteneklerin tümünü karşılayamayan modeller elenir.
3. Fiyat/kalite sıralaması kazananı seçer. Yetenek süzgecini geçen modeller arasında ToRun, isteğin gerçekte ne olduğuna göre sıralar. Kısa ve basit bir soru maliyete göre sıralanır, böylece hızlı ve ucuz bir cevap alırsınız. Daha uzun ya da daha zor olan bir soru, bir kalite tabanına karşı birim maliyet başına yeteneğe göre sıralanır. İçinde görsel taşıyan bir tur ise dolar başına akıl yürütmeye göre değil, modelin ne kadar iyi gördüğüne göre sıralanır. İş akışı çalıştırıcıları kalite önceliğine geçer; çünkü siz izlemezken çalışan otomatik bir hat, en ucuz kestirmeyi değil en iyi sonucu seçmelidir. BYOK kullanıcıları fiyatlandırmaya farklı girer, çünkü istek kendi sağlayıcı hesapları üzerinden yönlenir.
4. Yedek zincirleri sağlayıcı arızalarını karşılar. Seçilen model bir hizmet hatası döndürürse aynı hat, o model dışarıda bırakılarak yeniden çalışır. İkinci en iyi yetkin model cevaplar. Uygun bütün adaylar erişilemez olmadıkça size hiçbir hata görünmez.
Somut bir örnek: görme artı araçlar
Diyelim ki bir ekran görüntüsü yapıştırdınız ve ToRun'dan gördüğü şeyin bağlamı için web'de arama yapmasını istediniz. Bu istek aynı anda iki yeteneğe dokunur: görme (model bir görsel girdisini kabul edebilmeli) ve araçlar (model bir web arama işlevini çağırabilmeli).
Tek modelli bir yaklaşımda sıkışıp kalırsınız: platformunuz ya bu birleşimi destekler ya da desteklemez. Yetenek öncelikli yönlendirmede ToRun her iki gereksinimi kesiştirir. Yalnızca doğrulanmış görme desteği VE doğrulanmış araç çağırma desteği olan modeller süzgeci geçer. Bu kısa listeden fiyat/kalite sıralaması, mevcut modunuza en uygun olanı seçer. En üstteki aday hız sınırına takılmışsa ya da erişilemezse, siz hiçbir şey yapmadan listedeki bir sonraki aday isteği karşılar.
Bunun pratik önemi var: görmeyi destekleyen modellerin kümesi geçen yıl içinde ciddi biçimde değişti ve değişmeye devam edecek. Yetenek yönlendirmesi, ToRun'un yeni eklenen modelleri kataloglandıkları anda, sizin tarafınızda hiçbir ürün güncellemesi olmadan değerlendirmesi demektir.
Bu neden kilitlenmeyi yener
Tek modelli bir platformun tek bir yedek stratejisi vardır: satıcının kesintisini gidermesini beklemek. Yetenek öncelikli bir platformun ise bir kataloğu vardır. OpenAI'de bir olay yaşandığında, Anthropic ya da Gemini tarafından karşılanabilecek istekler oradan servis edilir. Yeni bir Mistral modeli yapılandırılmış çıktıda daha iyi fiyat/kalite sunduğunda, zorunlu bir göç olmadan ilgili modların sıralamasına girer.
Aynı mantık BYOK için de geçerlidir. Bir sağlayıcı için kendi API anahtarınızı eklediğinizde, o kimlik bilgisi yönlendirme katmanına kapsanır. Sağlayıcının yetkin modelleriyle eşleşen istekler ToRun'un hesabı yerine sizin anahtarınızdan beslenebilir; maliyet, uygun faturalandırma katmanında sizin sağlayıcı ilişkinize kayar. Yönlendirme hattı değişmez — yalnızca yürütme anında hangi kimlik bilgisinin kullanıldığı değişir.
Ödünleşim dürüstlüktür: ToRun en ucuz modelin sizin işiniz için en akıllısı olduğunu garanti edemez. Sıralama açıktır — neyin seçildiğini ve nedenini görebilir, geçersiz kılabilirsiniz. Bu şeffaflık işin özüdür. Her istek; kullanılan modeli, yürütme anında geçerli fiyatlandırma birimini ve maliyet dökümünü içeren bir fatura kaydı yazar. Sağlayıcı fiyatları değişmiş olsa bile, anlık görüntü isteğin çalıştığı ana dondurulduğu için herhangi bir çağrıyı aylar sonra denetleyebilirsiniz.
Her şeyi yapan tek model, işe yarar bir kurgudur. Asıl istediğiniz şey, her iş için doğru modeli bulan ve bu seçimi okunabilir kılan bir platformdur.