Kaikki tiimit eivät voi lähettää kehotteitaan jonkun toisen pilveen. Säännellyt toimialat, julkisen sektorin kuormat ja yritykset, joilla on tiukat tietojen sijaintisäännöt, tarvitsevat tekoälypinonsa pysyvän oman verkkonsa sisällä. ToRun jaetaan itse isännöitävänä alustana juuri tätä tapausta varten — eikä se ole karsittu laitos. Se on sama tuote, sinun hallinnassasi.
Mitä oma isännöinti täällä tarkoittaa
Itse isännöity ToRun on koko alusta asennettuna infrastruktuurille, joka on sinun: omat palvelimesi, oma Kubernetes-klusterisi tai yksi Docker-isäntä konesalissa. Ei ole velvollisuutta soittaa kotiin päättelyä varten. Kun ohjaat keskusteluviestin, kuvan tuottamisen tai työnkulun vaiheen, pyyntö menee määrittämillesi malleille, jotka voivat olla täysin paikallisia.
Asennus on suunniteltu pienen tiimin ajettavaksi. Yhden komennon Docker-asennus nostaa API:n, Angular-etuosan, MongoDB:n, Redisin ja tapahtumaväylän. Sieltä osoitat mallipalvelimiisi ja objektivarastoosi, ja alusta käyttäytyy kuin isännöity versio.
Tuo omat paikalliset kielimallisi
ToRunin kyvykkyyspohjaista ohjausta ei kiinnosta, asuuko malli pilvipalveluntarjoajalla vai GPU-koneella omassa telineessäsi. Kirjaat mallin luetteloon tukemillaan kyvykkyyksillä (teksti, näkö, työkalut, jäsennelty tuloste ja niin edelleen), osoitat asiakkaan paikalliseen päättelypäätepisteeseesi, ja se astuu samaan ohjausputkeen kuin kaikki muukin.
Se tarkoittaa, että voit ajaa avoimien painojen malleja paikallisen palvelimen kautta — samoja OpenAI-yhteensopivia päättelypäätepisteitä, joita useimmat itse isännöivät tiimit jo käyttävät — ja antaa ToRunin valita niiden välillä kyvykkyyden ja kustannuksen mukaan aivan kuten se valitsisi pilvipalveluntarjoajien välillä. Työnkulku voi sekoittaa paikallisen mallin arkaluonteisiin vaiheisiin ja pilvimallin muihin, jos käytäntösi sen sallii. Tai voit pitää jokaisen kutsun rajan sisäpuolella.
Samat osat, sinun avaimillasi
Oma isännöinti ei tarkoita alustan luottamuskoneiston luovuttamista. Omalla infrastruktuurillasi sinulla on yhä:
- Kyvykkyyspohjainen ohjaus automaattisella varalla kirjaamiesi mallipalvelimien välillä.
- Yksi laskutustietue kutsua kohti — kustannuskirjanpito toimii määrittämilläsi hinnoilla, joten voit yhä kohdistaa kulun tiimiin, tilaan ja malliin, vaikka laskenta on sinun.
- BYOK-holvi niille pilvipalveluntarjoajille, joita kuitenkin päätät käyttää, tunnistetiedot levossa salattuina ja tarkastusjälki niiden ratkaisusta.
- Tiivisteketjutettu tarkastus toimille, jotka vaativat koskemattomuuden todisteen.
- GDPR/KVKK-tietosuojatyökalut — rekisteröidyn pääsy ja poisto ajetaan omaa tietokantaasi vasten, joten poistopyyntö täytetään kokonaan oman hallintarajasi sisällä.
Lisensointi ja päivitykset
Itse isännöitävä laitos lisensoidaan asennusta kohti lähdekoodin käyttöoikeudella, jotta tietoturvatiimisi voi tarkastaa, mitä rajasi sisällä ajaa. Päivitykset saapuvat allekirjoitettuina julkaisuina, jotka otat käyttöön kun päätät — ei ole pakotettua itsepäivitystä, joka työntäisi muutoksia säänneltyyn ympäristöön ilman suostumustasi. Tiimeille, jotka sitä tarvitsevat, on olemassa lähdekoodin talletussopimus, jotta asennus pysyy käyttökelpoisena toimittajan tilanteesta riippumatta.
Kenelle tämä on
Jos vastaväitteesi tekoälyalustan käyttöönotolle on aina ollut »emme voi päästää noita tietoja ulos verkostamme«, itse isännöity ToRun on vastaus. Saat nykyaikaisen monen palveluntarjoajan tekoälytyötilan — keskustelu, tuottaminen, työnkulut, muisti, tietopohjat — ajamassa omia mallejasi vasten, omalla laitteistollasi, sillä tarkastettavuudella, jota vaatimustenmukaisuustiimi todella pyytää.
Keskustele kanssamme omasta asennuksesta tai lue paikallista asennusta koskeva osio /docs alla viitearkkitehtuuria varten.