Ne more vsaka ekipa pošiljati svojih pozivov v tuj oblak. Regulirane panoge, obremenitve javnega sektorja in podjetja s strogimi pravili o lokaciji podatkov potrebujejo, da njihov sklad umetne inteligence ostane znotraj lastnega omrežja. ToRun se dostavlja kot platforma za lastno gostovanje prav za ta primer — in to ni okrnjena izdaja. To je isti izdelek, pod vašim nadzorom.
Kaj tu pomeni lastno gostovanje
Lastno gostovan ToRun je celotna platforma, nameščena na infrastrukturi, ki je vaša: vaši strežniki, vaša gruča Kubernetes ali en sam gostitelj Docker v podatkovnem središču. Ni obveznosti klicati domov zaradi sklepanja. Ko usmerite sporočilo klepeta, ustvarjanje slike ali korak toka, gre zahteva k modelom, ki ste jih nastavili, ti pa so lahko povsem krajevni.
Namestitev je zasnovana tako, da jo vodi majhna ekipa. Namestitev Dockerja z enim ukazom dvigne API, sprednji del v Angularju, MongoDB, Redis in vodilo dogodkov. Od tam pokažete na svoja ozadja modelov in svojo objektno shrambo, platforma pa se vede kot gostovana različica.
Prinesite lastne krajevne LLM-je
Usmerjanju po zmožnostih v ToRunu je vseeno, ali model živi pri ponudniku v oblaku ali na stroju z GPU v vaši lastni omari. Model vpišete v katalog z zmožnostmi, ki jih podpira (besedilo, vid, orodja, strukturiran izhod in tako naprej), pokažete odjemalca na svojo krajevno končno točko sklepanja in vstopi v isti usmerjevalni cevovod kot vse drugo.
To pomeni, da lahko modele z odprtimi utežmi poganjate prek krajevnega strežnika — iste z OpenAI združljive končne točke sklepanja, ki jih večina ekip z lastnim gostovanjem že uporablja — in pustite ToRunu, da med njimi izbira po zmožnosti in strošku prav tako, kot bi izbiral med ponudniki v oblaku. Tok lahko meša krajevni model pri občutljivih korakih z oblačnim pri ostalih, če vaša pravila to dopuščajo. Ali pa vsak klic zadržite znotraj obsega.
Isti deli, pod vašimi ključi
Lastno gostovanje ne pomeni odpovedi zaupanja vrednemu mehanizmu platforme. Na lastni infrastrukturi še vedno imate:
- Usmerjanje po zmožnostih s samodejno rezervo med ozadji modelov, ki jih vpišete.
- En obračunski zapis na klic — knjiga stroškov dela po vaših nastavljenih cenah, zato lahko strošek še vedno pripisujete ekipi, načinu in modelu, čeprav je računanje vaše.
- Trezor BYOK za tiste ponudnike v oblaku, ki jih vseeno izberete, s podatki, šifriranimi v mirovanju, in sledjo nadzora njihovega razreševanja.
- Nadzor, verižen z izvlečki za dejanja, ki zahtevajo dokaz nedotaknjenosti.
- Orodja za pravice do podatkov GDPR/KVKK — dostop in izbris na zahtevo posameznika tečeta nad vašo bazo, zato je zahteva za izbris izpolnjena v celoti znotraj vaše meje nadzora.
Licenciranje in posodobitve
Izdaja za lastno gostovanje se licencira na namestitev z dostopom do izvorne kode, da lahko vaša varnostna ekipa pregleda, kaj znotraj obsega teče. Posodobitve prihajajo kot podpisane izdaje, ki jih uveljavite, ko se odločite — ni prisilnega samoposodabljanja, ki bi potiskalo spremembe v regulirano okolje brez vašega soglasja. Za ekipe, ki to potrebujejo, obstaja dogovor o hrambi kode, da namestitev ostane delujoča ne glede na položaj dobavitelja.
Komu je to namenjeno
Če je bil vaš ugovor proti prevzemu platforme umetne inteligence vedno »teh podatkov ne smemo spustiti iz našega omrežja«, potem je lastno gostovan ToRun odgovor. Dobite sodoben delovni prostor umetne inteligence z več ponudniki — klepet, ustvarjanje, tokovi, spomin, baze znanja — ki teče proti vašim modelom, na vaši opremi, s preverljivostjo, ki jo ekipa za skladnost res zahteva.
Pogovorite se z nami o lastni namestitvi ali preberite razdelek o namestitvi pri vas pod /docs za referenčno arhitekturo.