Ne može svaki tim slati svoje upite u tuđi oblak. Uređene djelatnosti, opterećenja javnog sektora i poduzeća sa strogim pravilima o mjestu podataka trebaju da im stog umjetne inteligencije ostane unutar vlastite mreže. ToRun se isporučuje kao platforma za vlastiti smještaj upravo za taj slučaj — i nije to okresano izdanje. To je isti proizvod, pod vašim nadzorom.
Što ovdje znači vlastiti smještaj
Vlastito smješten ToRun cijela je platforma postavljena na infrastrukturi koja je vaša: vaši poslužitelji, vaš Kubernetes klaster ili jedan Docker domaćin u podatkovnom središtu. Nema obveze zvati kući radi zaključivanja. Kad usmjerite poruku razgovora, stvaranje slike ili korak tijeka, zahtjev ide modelima koje ste postavili, a oni mogu biti posve lokalni.
Postava je zamišljena tako da je vodi mali tim. Docker instalacija jednom naredbom podiže API, Angular prednji dio, MongoDB, Redis i sabirnicu događaja. Odatle pokazujete na svoja pozadinska mjesta modela i svoje objektno spremište, a platforma se ponaša kao smještena inačica.
Donesite vlastite lokalne LLM-ove
Usmjeravanju prema sposobnostima u ToRunu svejedno je živi li model kod pružatelja u oblaku ili na stroju s GPU-om u vašem vlastitom ormaru. Model upišete u katalog sa sposobnostima koje podržava (tekst, vid, alati, strukturirani izlaz i tako dalje), pokažete klijenta na svoju lokalnu točku zaključivanja i on ulazi u isti cjevovod usmjeravanja kao i sve ostalo.
To znači da modele otvorenih težina možete pokretati kroz lokalni poslužitelj — iste točke zaključivanja spojive s OpenAI-jem koje većina timova s vlastitim smještajem već koristi — i pustiti ToRun da bira među njima po sposobnosti i trošku baš kao što bi birao među pružateljima u oblaku. Tijek može miješati lokalni model za osjetljive korake s onim u oblaku za ostale, ako to vaša pravila dopuštaju. Ili svaki poziv možete zadržati unutar opsega.
Isti dijelovi, pod vašim ključevima
Vlastiti smještaj ne znači odricanje od pouzdanog mehanizma platforme. Na vlastitoj infrastrukturi i dalje imate:
- Usmjeravanje prema sposobnostima s automatskom pričuvom među pozadinskim mjestima modela koja upišete.
- Jedan zapis naplate po pozivu — knjiga troškova radi po vašim postavljenim cijenama, pa trošak i dalje možete pripisivati timu, načinu rada i modelu, iako je računanje vaše.
- Trezor BYOK za one pružatelje u oblaku koje ipak odlučite koristiti, s podacima šifriranima u mirovanju i tragom nadzora njihova razrješenja.
- Nadzor ulančan sažecima za radnje koje traže dokaz nepovredivosti.
- Alate za prava na podatke GDPR/KVKK — pristup i brisanje na zahtjev ispitanika izvode se nad vašom bazom, pa se zahtjev za brisanjem ispunjava u cijelosti unutar vaše granice nadzora.
Licenciranje i nadogradnje
Izdanje za vlastiti smještaj licencira se po postavi uz pristup izvornom kodu, kako bi vaš sigurnosni tim mogao pregledati što unutar opsega radi. Nadogradnje stižu kao potpisana izdanja koja primjenjujete kad odlučite — nema prisilnog samonadograđivanja koje gura promjene u uređeno okruženje bez vaše suglasnosti. Za timove kojima to treba postoji sporazum o pohrani koda, kako bi postava ostala radna bez obzira na stanje dobavljača.
Kome je ovo namijenjeno
Ako je vaš prigovor prihvaćanju platforme umjetne inteligencije uvijek bio „te podatke ne smijemo pustiti iz naše mreže", onda je vlastito smješten ToRun odgovor. Dobivate suvremen radni prostor umjetne inteligencije s više pružatelja — razgovor, stvaranje, tijekovi, pamćenje, baze znanja — koji radi naspram vaših modela, na vašoj opremi, uz provjerljivost koju tim za usklađenost doista traži.
Porazgovarajte s nama o vlastitoj postavi ili pročitajte odjeljak o instalaciji kod vas pod /docs za referentnu arhitekturu.