Nem todo time pode mandar seus prompts para a nuvem de terceiros. Setores regulados, cargas do setor público e empresas com regras rígidas de residência de dados precisam que sua stack de IA fique dentro da própria rede. O ToRun é distribuído como plataforma auto-hospedável exatamente para esse caso — e não é uma edição capada. É o mesmo produto, sob o seu controle.
O que significa auto-hospedado aqui
ToRun auto-hospedado é a plataforma completa implantada em infraestrutura que é sua: seus servidores, seu cluster Kubernetes ou um único host Docker em um data center. Não há obrigação de ligar para casa para a inferência. Quando você roteia uma mensagem de chat, uma geração de imagem ou uma etapa de fluxo, a solicitação vai para os modelos que você configurou, que podem ser inteiramente locais.
A implantação foi pensada para ser operada por um time pequeno. Uma instalação Docker de um comando sobe a API, o frontend Angular, o MongoDB, o Redis e o barramento de eventos. A partir daí você aponta para seus backends de modelo e seu armazenamento de objetos, e a plataforma se comporta como a versão hospedada.
Traga seus LLMs locais
Para o roteamento por capacidades do ToRun tanto faz se um modelo vive em um fornecedor na nuvem ou em uma máquina com GPU no seu próprio rack. Você registra um modelo no catálogo com as capacidades que ele suporta (texto, visão, ferramentas, saída estruturada etc.), aponta o cliente para o seu endpoint de inferência local, e ele entra no mesmo pipeline de roteamento de todo o resto.
Isso significa que você pode rodar modelos de pesos abertos por um servidor local — os mesmos endpoints de inferência compatíveis com OpenAI que a maioria dos times que se auto-hospedam já usa — e deixar o ToRun escolher entre eles por capacidade e custo, do mesmo jeito que escolheria entre fornecedores na nuvem. Um fluxo pode misturar um modelo local para as etapas sensíveis com um na nuvem para as que não são, se sua política permitir. Ou você pode manter cada chamada dentro do perímetro.
As mesmas peças, sob as suas chaves
Auto-hospedar não significa abrir mão da maquinaria de confiança da plataforma. Na sua própria infraestrutura você continua tendo:
- Roteamento por capacidades com fallback automático entre os backends de modelo que você registrar.
- Um registro de cobrança por chamada — o livro de custos trabalha sobre as tarifas que você configurou, então ainda dá para atribuir gasto por time, por modo e por modelo mesmo que a computação seja sua.
- Cofre BYOK para os fornecedores na nuvem que você optar por usar, com credenciais criptografadas em repouso e trilha de auditoria da resolução.
- Auditoria encadeada por hash para as ações que exigem prova de integridade.
- Ferramentas de direitos sobre dados LGPD/GDPR — acesso e exclusão do titular rodam contra o seu próprio banco, então um pedido de eliminação é atendido inteiramente dentro da sua fronteira de controle.
Licenciamento e atualizações
A edição auto-hospedada é licenciada por implantação com acesso ao código-fonte, para que seu time de segurança possa revisar o que roda dentro do seu perímetro. As atualizações chegam como versões assinadas que você aplica quando decidir — não há autoatualização forçada empurrando mudanças para um ambiente regulado sem o seu aval. Para os times que precisarem, existe um acordo de custódia de código para que a implantação siga operável independentemente da situação do fornecedor.
Para quem isso é
Se a sua objeção para adotar uma plataforma de IA sempre foi «não podemos tirar esses dados da nossa rede», o ToRun auto-hospedado é a resposta. Você ganha um espaço de trabalho de IA multifornecedor moderno — chat, geração, fluxos, memória, bases de conhecimento — rodando sobre os seus modelos, no seu hardware, com a auditabilidade que um time de conformidade pede de verdade.
Fale com a gente sobre uma implantação auto-hospedada ou leia a seção no local em /docs para a arquitetura de referência.