Her ekip istemlerini üçüncü taraf bir buluta gönderemez. Düzenlemeye tabi sektörler, kamu iş yükleri ve katı veri ikametgâhı kuralları olan şirketler yapay zekâ yığınlarının kendi ağlarının içinde kalmasına ihtiyaç duyar. ToRun tam olarak bu durum için kendi sunucunuzda barındırılabilir bir platform olarak geliyor — ve kırpılmış bir sürüm değil. Sizin denetiminizde çalışan aynı ürün.
Kendi sunucunuzda barındırmak burada ne demek
Kendi sunucunuzdaki ToRun, sahip olduğunuz altyapıya kurulmuş tam platformdur: kendi sunucularınız, kendi Kubernetes kümeniz ya da bir barındırma tesisindeki tek bir Docker ana makinesi. Çıkarım için eve telefon etme zorunluluğu yoktur. Bir sohbet mesajını, bir görsel üretimini ya da bir iş akışı adımını yönlendirdiğinizde istek, yapılandırdığınız modellere gider — ki bunlar tümüyle yerel olabilir.
Kurulum, küçük bir ekibin işletebileceği şekilde tasarlandı. Tek komutluk bir Docker kurulumu API'yi, Angular ön yüzünü, MongoDB'yi, Redis'i ve olay veri yolunu ayağa kaldırır. Oradan model arka uçlarınızı ve nesne depolamanızı gösterirsiniz; platform barındırılan sürümle birebir aynı davranır.
Kendi yerel LLM'lerinizi getirin
ToRun'un yetenek öncelikli yönlendirmesi, bir modelin bulut sağlayıcısında mı yoksa kendi kabinizdeki bir GPU makinesinde mi yaşadığını umursamaz. Modeli desteklediği yeteneklerle (metin, görme, araçlar, yapılandırılmış çıktı vb.) kataloğa kaydeder, istemciyi yerel çıkarım uç noktanıza yönlendirirsiniz; o da diğer her şeyle aynı yönlendirme hattına girer.
Bu, açık ağırlıklı modelleri yerel bir sunucu üzerinden — kendi sunucusunda barındıran çoğu ekibin zaten kullandığı, OpenAI uyumlu çıkarım uç noktalarıyla — çalıştırabileceğiniz ve ToRun'un onlar arasında yeteneğe ve maliyete göre, bulut sağlayıcıları arasında seçim yapacağı gibi seçim yapabileceği anlamına gelir. Bir iş akışı, politikanız izin veriyorsa hassas adımlar için yerel bir modeli, hassas olmayanlar için bir bulut modelini karıştırabilir. Ya da her çağrıyı çevre içinde tutabilirsiniz.
Aynı ilkeler, sizin anahtarlarınızla
Kendi sunucunuzda barındırmak, platformun güven düzeneğinden vazgeçmek demek değildir. Kendi altyapınızda da şunlara sahip olursunuz:
- Yetenek öncelikli yönlendirme — kaydettiğiniz hangi model arka uçları varsa onlar arasında otomatik yedeklemeyle.
- Çağrı başına bir fatura kaydı — maliyet muhasebesi defteri sizin yapılandırdığınız oranlara karşı çalışır, böylece işlem gücü sizin olsa bile harcamayı ekip, mod ve model başına yine ilişkilendirebilirsiniz.
- BYOK kasası — kullanmayı seçtiğiniz bulut sağlayıcıları için, beklemede şifreli kimlik bilgileri ve çözümleme denetim iziyle.
- Karma zincirli denetim — kurcalanmaya karşı kanıt gerektiren eylemler için.
- GDPR/KVKK veri hakları araçları — veri sahibi erişimi ve silme kendi veritabanınıza karşı çalışır, böylece bir silme talebi tümüyle sizin denetim sınırınız içinde karşılanır.
Lisanslama ve güncellemeler
Kendi sunucunuzdaki sürüm, kaynağa erişimle birlikte dağıtım başına lisanslanır; böylece güvenlik ekibiniz çevrenizin içinde ne çalıştığını inceleyebilir. Güncellemeler, ne zaman uygulayacağınızı seçtiğiniz imzalı sürümler olarak gelir — düzenlemeye tabi bir ortama sizin onayınız olmadan değişiklik iten zorunlu bir otomatik güncelleme yoktur. Gerektiren ekipler için, kurulumun satıcı durumundan bağımsız olarak işletilebilir kalması amacıyla bir kaynak emaneti düzenlemesi mevcuttur.
Bu kimin için
Bir yapay zekâ platformunu benimsemeye itirazınız hep "o veriyi ağımızın dışına gönderemeyiz" olduysa, kendi sunucunuzdaki ToRun yanıttır. Modern, çok sağlayıcılı bir yapay zekâ çalışma alanı — sohbet, üretim, iş akışları, hafıza, bilgi tabanları — kendi modellerinize karşı, kendi donanımınızda, bir uyumluluk ekibinin gerçekten istediği denetlenebilirlikle çalışır.
Kendi sunucunuzdaki bir kurulum için bizimle görüşün ya da referans mimarisini görmek için /docs altındaki şirket içi bölümünü okuyun.