Paikallinen (On-Prem) ja itse isännöity käyttöönotto

Yleiskatsaus

ToRun voi toimia omassa infrastruktuurissasi. Yhden komennon Docker-asennusohjelma rakentaa taustajärjestelmän, tietokannan migraattorin ja verkkosovelluksen lähdekoodista ja käynnistää alustan yhden käänteisen välityspalvelimen taakse — isäntäkone tarvitsee vain Dockerin. Tämä on tarkoitettu tiimeille, jotka tarvitsevat tietojen sijaintia, verkosta eristettyä (air-gapped) käyttöä tai omia paikallisia mallejaan.

Mitä asennusohjelma tekee

Paikallinen asennusohjelma:

• Rakentaa Host API:n, tietokannan migraattorin ja SPA-käyttöliittymän lähdekoodista Dockerin sisällä.
• Määrittää yhden reuna- (edge) käänteisen välityspalvelimen kaiken eteen.
• Generoi automaattisesti käyttöön tarvittavat salaisuudet, varmenteen ja ympäristökonfiguraation.
• Luo alkuperäisen järjestelmänvalvojan tilin konfiguraatiosta (järjestelmänvalvojan sähköposti ja salasana ovat konfiguraatio-ohjattuja).

Koska kaikki rakennetaan lähdekoodista kontissa, isäntäkone ei tarvitse .NET- tai Node-työkaluketjua — vain Dockerin.

Omien paikallisten mallien käyttö

Paikalliset käyttöönotot voivat osoittaa omiin paikallisiin LLM-malleihisi isännöityjen palveluntarjoajien sijaan (tai niiden rinnalla). Yhdistettynä BYOK-holviin tämä tarkoittaa, että päättely (inference) voi pysyä kokonaan ympäristösi sisällä.

Lisensointivaihtoehdot

Paikallista käyttöönottoa tarjotaan useilla kaupallisilla vaihtoehdoilla:

• Käyttäjäpaikkakohtainen lisenssi — hinnoiteltu käyttäjäpaikkaa kohti vuodessa, otsikkona $0 käyttöönotto; ammattilaispalveluja on saatavilla tunneittain, kun haluat käytännön apua.
• Lähdekoodilisenssi — kertamaksu lähdekoodista sekä vuosittainen päivitysmaksu organisaatioille, jotka tarvitsevat itse koodin.
• Lähdekoodin talletus (source escrow) — saatavilla, jotta lähdekoodi on suojattu ja saatavilla sovituilla ehdoilla jopa pahimmissa skenaarioissa.

(Tarkat luvut määritetään nykyisessä hinnoittelusopimuksessa; myyntisi/tarjouksesi heijastaa ajantasaisia lukuja.)

Toimintamalli

Paikallinen suunnittelu tähtää käyttöön ilman omaa henkilöstöä — automatisoitu asennus, automatisoidut päivitykset ja itsepalvelutuen polku — jotta pieni tiimi (tai yksittäinen ylläpitäjä) voi käyttää sitä ilman erillistä ylläpitohenkilöstöä.

Päivitykset

Käyttöönotot voivat päivittää itsensä, joten pysyt ajan tasalla ilman manuaalista uudelleenrakennuskiertoa.

Vinkkejä

• Aseta järjestelmänvalvojan sähköposti/salasana konfiguraation kautta ennen ensimmäistä käynnistystä, jotta luotu järjestelmänvalvoja on omasi alusta alkaen.
• Jos tiedot eivät saa koskaan poistua verkostasi, suorita paikallisia malleja BYOK:n kautta äläkä määritä isännöityjen palveluntarjoajien avaimia.
• Pidä automaattinen päivitys käytössä, ellei sinulla ole muutoksenhallintaperustetta kiinnittää tiettyä versiota.