Non tutti i team possono mandare i propri prompt nel cloud di un terzo. I settori regolamentati, i carichi del settore pubblico e le imprese con regole rigide di residenza dei dati hanno bisogno che il loro stack di IA resti dentro la propria rete. ToRun è distribuito come piattaforma auto-ospitabile proprio per questo caso — e non è un'edizione ridotta. È lo stesso prodotto, sotto il tuo controllo.
Cosa significa qui auto-ospitato
ToRun auto-ospitato è la piattaforma completa distribuita su infrastruttura che ti appartiene: i tuoi server, il tuo cluster Kubernetes o un singolo host Docker in un data center. Nessun obbligo di chiamare casa per l'inferenza. Quando instradi un messaggio di chat, una generazione di immagini o un passo di flusso, la richiesta va ai modelli che hai configurato, che possono essere interamente locali.
L'installazione è pensata per essere gestita da un piccolo team. Un'installazione Docker con un solo comando avvia l'API, il frontend Angular, MongoDB, Redis e il bus di eventi. Da lì punti ai tuoi backend di modelli e al tuo archivio a oggetti, e la piattaforma si comporta come la versione ospitata.
Porta i tuoi LLM locali
All'instradamento per capacità di ToRun non importa se un modello vive presso un fornitore cloud o su una macchina con GPU nel tuo rack. Registri un modello nel catalogo con le capacità che supporta (testo, visione, strumenti, output strutturato, ecc.), punti il client al tuo endpoint di inferenza locale, ed entra nella stessa pipeline di instradamento di tutto il resto.
Significa che puoi eseguire modelli a pesi aperti tramite un server locale — gli stessi endpoint di inferenza compatibili con OpenAI che la maggior parte dei team che si auto-ospitano già usa — e lasciare che ToRun scelga tra loro per capacità e costo esattamente come sceglierebbe tra fornitori cloud. Un flusso può mescolare un modello locale per i passi sensibili e uno cloud per quelli che non lo sono, se la tua politica lo consente. Oppure puoi tenere ogni chiamata dentro il perimetro.
Gli stessi mattoni, sotto le tue chiavi
Auto-ospitare non significa rinunciare al macchinario di fiducia della piattaforma. Sulla tua infrastruttura mantieni comunque:
- Instradamento per capacità con ripiego automatico tra i backend di modelli che registri.
- Un record di fatturazione per chiamata — il registro dei costi lavora sulle tariffe che hai configurato, quindi puoi ancora attribuire la spesa per team, per modalità e per modello anche se il calcolo è tuo.
- Cassaforte BYOK per i fornitori cloud che scegli di usare, con credenziali cifrate a riposo e una pista di audit della risoluzione.
- Audit concatenato con hash per le azioni che richiedono prova di integrità.
- Strumenti per i diritti sui dati GDPR/KVKK — accesso ed erasione dell'interessato lavorano sul tuo database, quindi una richiesta di cancellazione è soddisfatta interamente dentro il tuo confine di controllo.
Licenza e aggiornamenti
L'edizione auto-ospitata è licenziata per singola installazione con accesso al codice sorgente, così il tuo team di sicurezza può rivedere ciò che gira nel tuo perimetro. Gli aggiornamenti arrivano come versioni firmate che applichi quando decidi tu — nessun aggiornamento automatico forzato che spinga modifiche in un ambiente regolamentato senza il tuo assenso. Per i team che ne hanno bisogno esiste un accordo di deposito del codice, così l'installazione resta operabile indipendentemente dalla situazione del fornitore.
A chi serve
Se la tua obiezione all'adozione di una piattaforma di IA è sempre stata «non possiamo far uscire quei dati dalla nostra rete», ToRun auto-ospitato è la risposta. Ottieni uno spazio di lavoro di IA multifornitore moderno — chat, generazione, flussi, memoria, basi di conoscenza — che gira sui tuoi modelli, sul tuo hardware, con la verificabilità che un team di conformità chiede davvero.
Parlaci di un'installazione auto-ospitata o leggi la sezione in sede sotto /docs per l'architettura di riferimento.