Nie každý tím môže posielať svoje výzvy do cudzieho cloudu. Regulované odvetvia, záťaže verejného sektora a podniky s prísnymi pravidlami umiestnenia dát potrebujú, aby ich stack AI zostal vnútri vlastnej siete. ToRun sa dodáva ako platforma na vlastné hosťovanie práve pre tento prípad — a nie je to okresané vydanie. Je to ten istý produkt, pod vašou kontrolou.
Čo tu znamená vlastné hosťovanie
Vlastne hosťovaný ToRun je celá platforma nasadená na infraštruktúre, ktorá je vaša: vaše servery, váš klaster Kubernetes alebo jediný hostiteľ Docker v dátovom centre. Nie je žiadna povinnosť volať domov kvôli odvodzovaniu. Keď smerujete správu chatu, generovanie obrázka alebo krok postupu, požiadavka ide k modelom, ktoré ste nastavili, a tie môžu byť celkom miestne.
Nasadenie je navrhnuté tak, aby ho zvládol malý tím. Inštalácia Dockeru jediným príkazom zdvihne API, frontend v Angulari, MongoDB, Redis a zbernicu udalostí. Odtiaľ ukážete na svoje zázemia modelov a svoje objektové úložisko a platforma sa správa ako hosťovaná verzia.
Prineste si vlastné miestne LLM
Smerovaniu podľa schopností v ToRun je jedno, či model býva u cloudového poskytovateľa, alebo na stroji s GPU vo vašom vlastnom racku. Zaregistrujete model do katalógu so schopnosťami, ktoré podporuje (text, zrak, nástroje, štruktúrovaný výstup atď.), ukážete klienta na svoj miestny koncový bod odvodzovania a vstúpi do tej istej smerovacej linky ako všetko ostatné.
Znamená to, že môžete prevádzkovať modely s otvorenými váhami cez miestny server — tie isté koncové body odvodzovania zlučiteľné s OpenAI, ktoré už väčšina vlastne hosťujúcich tímov používa — a nechať ToRun vyberať medzi nimi podľa schopnosti a nákladu presne tak, ako by vyberal medzi cloudovými poskytovateľmi. Postup môže miešať miestny model pri citlivých krokoch s cloudovým pri ostatných, ak to vaše pravidlá dovolia. Alebo môžete každé volanie držať vnútri perimetra.
Tie isté diely, pod vašimi kľúčmi
Vlastné hosťovanie neznamená vzdať sa dôveryhodnej mechaniky platformy. Na vlastnej infraštruktúre stále máte:
- Smerovanie podľa schopností s automatickou zálohou medzi zázemiami modelov, ktoré zaregistrujete.
- Jeden účtovný záznam na volanie — nákladová kniha pracuje s vašimi nastavenými sadzbami, takže výdavok môžete stále priraďovať tímu, režimu a modelu, aj keď je výpočet váš.
- Trezor BYOK pre tých cloudových poskytovateľov, ktorých predsa len použijete, s prístupovými údajmi šifrovanými v pokoji a auditnou stopou ich riešenia.
- Audit reťazený odtlačkami pre úkony vyžadujúce dôkaz neporušenosti.
- Nástroje na práva k údajom GDPR/KVKK — prístup a výmaz na žiadosť dotknutej osoby bežia proti vašej databáze, takže žiadosť o výmaz je vybavená celkom vnútri vašej hranice kontroly.
Licencovanie a aktualizácie
Vlastne hosťované vydanie je licencované na nasadenie s prístupom k zdrojovému kódu, aby váš bezpečnostný tím mohol prezrieť, čo vnútri perimetra beží. Aktualizácie prichádzajú ako podpísané vydania, ktoré nasadíte, keď sa rozhodnete — nie je žiadna vynútená automatická aktualizácia tlačiaca zmeny do regulovaného prostredia bez vášho súhlasu. Pre tímy, ktoré to potrebujú, existuje dohoda o úschove kódu, aby nasadenie zostalo prevádzkyschopné bez ohľadu na situáciu dodávateľa.
Pre koho to je
Ak bola vaša námietka proti prijatiu platformy AI vždy „tie dáta nesmieme pustiť z našej siete", potom je vlastne hosťovaný ToRun odpoveďou. Dostanete moderný pracovný priestor AI s viacerými poskytovateľmi — chat, generovanie, postupy, pamäť, znalostné bázy — bežiaci proti vašim modelom, na vašom hardvéri, s overiteľnosťou, ktorú tím pre súlad naozaj požaduje.
Porozprávajte sa s nami o vlastnom nasadení alebo si prečítajte oddiel o inštalácii u vás pod /docs pre referenčnú architektúru.