Nem minden csapat küldheti kéréseit másvalaki felhőjébe. A szabályozott ágazatoknak, a közszféra terheléseinek és a szigorú adatelhelyezési szabályokkal bíró vállalatoknak arra van szükségük, hogy MI-készletük a saját hálózatukon belül maradjon. A ToRun pontosan erre az esetre kerül forgalomba saját üzemeltetésű platformként — és ez nem lecsupaszított kiadás. Ugyanaz a termék, az Ön felügyelete alatt.
Mit jelent itt a saját üzemeltetés
A saját üzemeltetésű ToRun a teljes platform az Önhöz tartozó infrastruktúrára telepítve: az Ön kiszolgálói, az Ön Kubernetes-fürtje vagy egyetlen Docker-gazdagép egy adatközpontban. Nincs kötelezettség hazatelefonálni a következtetés miatt. Amikor beszélgetési üzenetet, képgenerálást vagy munkafolyamat-lépést irányít, a kérés a beállított modellekhez megy, amelyek teljesen helyiek lehetnek.
A telepítést úgy tervezték, hogy kis csapat üzemeltethesse. Egy egyparancsos Docker-telepítés felhozza az API-t, az Angular előtétet, a MongoDB-t, a Redist és az eseménybuszt. Innen a modellhátterekre és az objektumtárolójára mutat, a platform pedig úgy viselkedik, mint az üzemeltetett változat.
Hozza a saját helyi nagy nyelvi modelljeit
A ToRun képesség szerinti irányításának mindegy, hogy egy modell felhőszolgáltatónál lakik-e vagy egy GPU-s gépen a saját szekrényében. Beírja a modellt a katalógusba a támogatott képességekkel (szöveg, látás, eszközök, szerkezetes kimenet és így tovább), az ügyfelet a helyi következtetési végpontjára irányítja, és belép ugyanabba az irányítási csővezetékbe, mint minden más.
Ez azt jelenti, hogy nyílt súlyú modelleket futtathat helyi kiszolgálón át — ugyanazokat az OpenAI-kompatibilis következtetési végpontokat, amelyeket a saját üzemeltetésű csapatok többsége már használ —, és hagyhatja, hogy a ToRun képesség és költség szerint válasszon közülük, pontosan úgy, ahogy felhőszolgáltatók között választana. Egy munkafolyamat vegyíthet helyi modellt az érzékeny lépésekhez felhőbelivel a többihez, ha a házirendje ezt engedi. Vagy minden hívást a kerületen belül tarthat.
Ugyanazok az elemek, az Ön kulcsai alatt
A saját üzemeltetés nem jelenti a platform bizalmi gépezetéről való lemondást. A saját infrastruktúráján továbbra is megkapja:
- A képesség szerinti irányítást automatikus tartalékkal a beírt modellhátterek között.
- Hívásonként egy számlázási tételt — a költségkönyv az Ön beállított díjaival dolgozik, így a kiadást továbbra is csapatra, módra és modellre bonthatja, még ha a számítás az Öné is.
- BYOK-páncélszekrényt azokhoz a felhőszolgáltatókhoz, amelyeket mégis használni választ, nyugalmi állapotban titkosított hitelesítő adatokkal és feloldásuk vizsgálati nyomával.
- Kivonatlánccal fűzött vizsgálatot azokhoz a műveletekhez, amelyek sértetlenségi bizonyítékot igényelnek.
- GDPR/KVKK adatjogi eszközöket — az érintetti hozzáférés és törlés az Ön adatbázisán fut, így a törlési kérelem teljes egészében az Ön felügyeleti határán belül teljesül.
Licencelés és frissítések
A saját üzemeltetésű kiadást telepítésenként licencelik forráskód-hozzáféréssel, hogy biztonsági csapata átnézhesse, mi fut a kerületén belül. A frissítések aláírt kiadásokként érkeznek, amelyeket akkor alkalmaz, amikor dönt — nincs kényszerített önfrissítés, amely az Ön jóváhagyása nélkül tolna változásokat szabályozott környezetbe. Azoknak a csapatoknak, amelyeknek ez kell, létezik forráskód-letéti megállapodás, hogy a telepítés a szállító helyzetétől függetlenül üzemképes maradjon.
Kinek szól ez
Ha az MI-platform bevezetésével szembeni kifogása mindig az volt, hogy „azokat az adatokat nem engedhetjük ki a hálózatunkból", akkor a saját üzemeltetésű ToRun a válasz. Korszerű, több szolgáltatós MI-munkateret kap — beszélgetés, generálás, munkafolyamatok, emlékezet, tudásbázisok —, amely az Ön modelljeivel szemben fut, az Ön eszközein, azzal az ellenőrizhetőséggel, amit egy megfelelőségi csapat valóban kér.
Beszéljen velünk saját telepítésről, vagy olvassa el a helyi telepítésről szóló részt a /docs alatt a referenciaépítészethez.