Lokalna (On-Prem) i samostalno hostana implementacija

Pregled

ToRun može raditi na vašoj vlastitoj infrastrukturi. Docker instalacijski program s jednom naredbom gradi pozadinski sustav, migrator baze podataka i web-aplikaciju iz izvornog koda te pokreće platformu iza jednog obrnutog proxyja (reverse proxy) — host-računalo treba samo Docker. Ovo je za timove kojima je potrebna rezidencija podataka, rad izoliran od mreže (air-gapped) ili vlastiti lokalni modeli.

Što instalacijski program radi

Lokalni instalacijski program:

• Gradi Host API, migrator baze podataka i SPA frontend iz izvornog koda unutar Dockera.
• Konfigurira jedan rubni (edge) obrnuti proxy ispred svega.
• Automatski generira tajne, certifikat i konfiguraciju okruženja potrebne za rad.
• Stvara početni administratorski račun iz konfiguracije (administratorska e-pošta i lozinka vođeni su konfiguracijom).

Budući da se sve gradi iz izvornog koda u kontejneru, host-računalo ne treba .NET ili Node skup alata — samo Docker.

Korištenje vlastitih lokalnih modela

Lokalne implementacije mogu pokazivati na vaše vlastite lokalne LLM-ove umjesto (ili uz) hostane pružatelje usluga. U kombinaciji s BYOK trezorom, to znači da zaključivanje (inference) može ostati u potpunosti unutar vašeg okruženja.

Opcije licenciranja

Lokalna implementacija nudi se s nekoliko komercijalnih opcija:

• Licenca po mjestu (per seat) — cijena po mjestu godišnje, s naglaskom $0 postavljanja; profesionalne usluge dostupne su po satu kada želite praktičnu pomoć.
• Licenca za izvorni kod — jednokratna naknada za izvorni kod plus godišnja naknada za ažuriranja, za organizacije kojima je potreban sam kod.
• Pohrana izvornog koda (source escrow) — dostupna kako bi izvorni kod bio zaštićen i dostupan pod dogovorenim uvjetima čak i u najgorim scenarijima.

(Točne brojke utvrđene su u trenutnom cjenovnom sporazumu; vaša prodaja/ponuda odražava aktualne brojeve.)

Operativni pristup

Lokalni dizajn cilja na rad bez namjenskog osoblja — automatiziranu instalaciju, automatizirana ažuriranja i samoposlužni put podrške — tako da ga mali tim (ili samostalni operater) može voditi bez namjenskog operativnog osoblja.

Ažuriranja

Implementacije se mogu same ažurirati kako biste ostali aktualni bez ručnog ciklusa ponovne izgradnje.

Savjeti

• Postavite administratorsku e-poštu/lozinku putem konfiguracije prije prvog pokretanja kako bi stvoreni administrator bio vaš od početka.
• Ako podaci nikada ne smiju napustiti vašu mrežu, pokrećite lokalne modele putem BYOK-a i izbjegavajte konfiguriranje ključeva hostanih pružatelja usluga.
• Ostavite automatsko ažuriranje omogućeno, osim ako imate razlog kontrole promjena za fiksiranje verzije.