Lokalna (On-Prem) in lastno gostovana namestitev

Pregled

ToRun lahko teče na vaši lastni infrastrukturi. Namestitveni program Docker z enim ukazom zgradi zaledje, migrator podatkovne baze in spletno aplikacijo iz izvorne kode ter vzpostavi platformo za enim samim obratnim posrednikom (reverse proxy) — gostiteljski stroj potrebuje le Docker. To je namenjeno ekipam, ki potrebujejo rezidenco podatkov, od omrežja izolirano (air-gapped) delovanje ali lastne lokalne modele.

Kaj namestitveni program počne

Lokalni namestitveni program:

• Zgradi Host API, migrator podatkovne baze in SPA-uporabniški vmesnik iz izvorne kode znotraj Dockerja.
• Konfigurira en sam robni (edge) obratni posrednik pred vsem ostalim.
• Samodejno generira skrivnosti, potrdilo in konfiguracijo okolja, potrebne za zagon.
• Ustvari začetni skrbniški račun iz konfiguracije (skrbnikov e-poštni naslov in geslo sta vodena s konfiguracijo).

Ker je vse zgrajeno iz izvorne kode v vsebniku, gostiteljski stroj ne potrebuje verige orodij .NET ali Node — le Docker.

Uporaba lastnih lokalnih modelov

Lokalne namestitve lahko kažejo na vaše lastne lokalne LLM-je namesto (ali poleg) gostovanih ponudnikov. V kombinaciji s trezorjem BYOK to pomeni, da lahko sklepanje (inference) ostane v celoti znotraj vašega okolja.

Možnosti licenciranja

Lokalna namestitev je na voljo z več komercialnimi možnostmi:

• Licenca na sedež (per seat) — z ceno na sedež na leto, z glavnim sporočilom $0 namestitve; strokovne storitve so na voljo na uro, ko želite praktično pomoč.
• Licenca za izvorno kodo — enkratno plačilo za izvorno kodo in letna pristojbina za posodobitve za organizacije, ki potrebujejo samo kodo.
• Hramba izvorne kode (source escrow) — na voljo, da je izvorna koda zaščitena in dostopna pod dogovorjenimi pogoji tudi v najslabših scenarijih.

(Natančne številke so določene v trenutnem cenovnem sporazumu; vaša prodaja/ponudba odraža aktualne številke.)

Operativna drža

Lokalna zasnova cilja na delovanje brez namenskega osebja — avtomatizirano namestitev, avtomatizirane posodobitve in samopostrežno pot podpore — tako da jo lahko majhna ekipa (ali samostojni upravljavec) izvaja brez namenskega operativnega osebja.

Posodobitve

Namestitve se lahko samodejno posodabljajo, tako da ostanete aktualni brez ročnega cikla ponovne izgradnje.

Nasveti

• Pred prvim zagonom nastavite skrbnikov e-poštni naslov/geslo prek konfiguracije, da je ustvarjeni skrbnik vaš od samega začetka.
• Če podatki nikoli ne smejo zapustiti vašega omrežja, izvajajte lokalne modele prek BYOK in se izogibajte konfiguriranju ključev gostovanih ponudnikov.
• Pustite samodejno posodabljanje omogočeno, razen če imate razlog za nadzor sprememb, da pripnete določeno različico.