Ne každý tým může posílat své výzvy do cizího cloudu. Regulovaná odvětví, zátěže veřejného sektoru a podniky s přísnými pravidly umístění dat potřebují, aby jejich stack AI zůstal uvnitř vlastní sítě. ToRun se dodává jako platforma pro vlastní hostování právě pro tento případ — a není to okleštěné vydání. Je to tentýž produkt, pod vaší kontrolou.
Co tu znamená vlastní hostování
Vlastně hostovaný ToRun je celá platforma nasazená na infrastruktuře, která je vaše: vaše servery, váš cluster Kubernetes nebo jediný hostitel Docker v datovém centru. Není žádná povinnost volat domů kvůli odvozování. Když směrujete zprávu chatu, generování obrázku nebo krok postupu, požadavek jde k modelům, které jste nastavili, a ty mohou být zcela místní.
Nasazení je navrženo tak, aby ho zvládl malý tým. Instalace Dockeru jediným příkazem zvedne API, frontend v Angularu, MongoDB, Redis a sběrnici událostí. Odtud ukážete na svá zázemí modelů a své objektové úložiště a platforma se chová jako hostovaná verze.
Přineste si vlastní místní LLM
Směrování podle schopností v ToRun je jedno, zda model bydlí u cloudového poskytovatele, nebo na stroji s GPU ve vašem vlastním racku. Zaregistrujete model do katalogu se schopnostmi, které podporuje (text, zrak, nástroje, strukturovaný výstup atd.), ukážete klienta na svůj místní koncový bod odvozování a vstoupí do téže směrovací linky jako všechno ostatní.
Znamená to, že můžete provozovat modely s otevřenými vahami přes místní server — tytéž koncové body odvozování slučitelné s OpenAI, které už většina vlastně hostujících týmů používá — a nechat ToRun vybírat mezi nimi podle schopnosti a nákladu přesně tak, jak by vybíral mezi cloudovými poskytovateli. Postup může míchat místní model u citlivých kroků s cloudovým u ostatních, pokud to vaše pravidla dovolí. Nebo můžete každé volání držet uvnitř perimetru.
Tytéž díly, pod vašimi klíči
Vlastní hostování neznamená vzdát se důvěryhodné mechaniky platformy. Na vlastní infrastruktuře stále máte:
- Směrování podle schopností s automatickou zálohou mezi zázemími modelů, která zaregistrujete.
- Jeden účetní záznam na volání — nákladová kniha pracuje s vašimi nastavenými sazbami, takže výdaj můžete stále přiřazovat týmu, režimu a modelu, i když je výpočet váš.
- Trezor BYOK pro ty cloudové poskytovatele, které přece jen použijete, s přístupovými údaji šifrovanými v klidu a auditní stopou jejich řešení.
- Audit řetězený otisky pro úkony vyžadující důkaz neporušenosti.
- Nástroje pro práva k údajům GDPR/KVKK — přístup a výmaz na žádost subjektu běží proti vaší databázi, takže žádost o výmaz je vyřízena zcela uvnitř vaší hranice kontroly.
Licencování a aktualizace
Vlastně hostované vydání je licencováno na nasazení s přístupem ke zdrojovému kódu, aby váš bezpečnostní tým mohl prohlédnout, co uvnitř perimetru běží. Aktualizace přicházejí jako podepsaná vydání, která nasadíte, když se rozhodnete — není žádná vynucená automatická aktualizace tlačící změny do regulovaného prostředí bez vašeho souhlasu. Pro týmy, které to potřebují, existuje dohoda o úschově kódu, aby nasazení zůstalo provozuschopné bez ohledu na situaci dodavatele.
Pro koho to je
Byla-li vaše námitka proti přijetí platformy AI vždycky „ta data nesmíme pustit z naší sítě", pak je vlastně hostovaný ToRun odpovědí. Dostanete moderní pracovní prostor AI s více poskytovateli — chat, generování, postupy, paměť, znalostní báze — běžící proti vašim modelům, na vašem hardwaru, s ověřitelností, kterou tým pro soulad opravdu požaduje.
Promluvte si s námi o vlastním nasazení nebo si přečtěte oddíl o instalaci u vás pod /docs pro referenční architekturu.