Nem todas as equipas podem enviar os seus pedidos para a nuvem de terceiros. Os setores regulados, as cargas do setor público e as empresas com regras estritas de residência de dados precisam que a sua pilha de IA fique dentro da própria rede. O ToRun é distribuído como plataforma auto-alojável exatamente para esse caso — e não é uma edição reduzida. É o mesmo produto, sob o seu controlo.
O que significa aqui auto-alojado
ToRun auto-alojado é a plataforma completa instalada em infraestrutura que lhe pertence: os seus servidores, o seu agregado Kubernetes ou um único anfitrião Docker num centro de dados. Não há obrigação de telefonar para casa para a inferência. Quando encaminha uma mensagem de conversa, uma geração de imagem ou um passo de fluxo, o pedido vai para os modelos que configurou, que podem ser inteiramente locais.
A instalação foi pensada para ser operada por uma equipa pequena. Uma instalação Docker de um só comando levanta a API, a interface Angular, o MongoDB, o Redis e o barramento de eventos. A partir daí aponta para os seus servidores de modelos e o seu armazenamento de objetos, e a plataforma comporta-se como a versão alojada.
Traga os seus LLM locais
Ao encaminhamento por capacidades do ToRun é indiferente se um modelo vive num fornecedor na nuvem ou numa máquina com GPU no seu próprio bastidor. Regista um modelo no catálogo com as capacidades que suporta (texto, visão, ferramentas, saída estruturada, etc.), aponta o cliente ao seu ponto de inferência local, e ele entra no mesmo canal de encaminhamento de tudo o resto.
Isso significa que pode correr modelos de pesos abertos através de um servidor local — os mesmos pontos de inferência compatíveis com OpenAI que a maioria das equipas que se auto-alojam já usa — e deixar o ToRun escolher entre eles por capacidade e custo, tal como escolheria entre fornecedores na nuvem. Um fluxo pode misturar um modelo local para os passos sensíveis com um da nuvem para os que não o são, se a sua política o permitir. Ou pode manter cada chamada dentro do perímetro.
As mesmas peças, sob as suas chaves
Auto-alojar não significa abdicar da maquinaria de confiança da plataforma. Na sua própria infraestrutura continua a ter:
- Encaminhamento por capacidades com recurso automático entre os servidores de modelos que registar.
- Um registo de faturação por chamada — o livro de custos trabalha sobre as tarifas que configurou, pelo que ainda pode atribuir a despesa por equipa, por modo e por modelo mesmo que o cálculo seja seu.
- Cofre BYOK para os fornecedores na nuvem que decidir usar, com credenciais cifradas em repouso e um rasto de auditoria da resolução.
- Auditoria encadeada por hash para as ações que exigem prova de integridade.
- Ferramentas de direitos sobre dados RGPD/KVKK — o acesso e o apagamento do titular correm contra a sua própria base de dados, pelo que um pedido de eliminação é satisfeito inteiramente dentro da sua fronteira de controlo.
Licenciamento e atualizações
A edição auto-alojada é licenciada por instalação com acesso ao código-fonte, para que a sua equipa de segurança possa rever o que corre dentro do seu perímetro. As atualizações chegam como versões assinadas que aplica quando decidir — não há auto-atualização forçada a empurrar alterações para um ambiente regulado sem o seu acordo. Para as equipas que precisem, existe um acordo de depósito de código para que a instalação continue operável independentemente da situação do fornecedor.
Para quem é isto
Se a sua objeção à adoção de uma plataforma de IA sempre foi «não podemos tirar esses dados da nossa rede», o ToRun auto-alojado é a resposta. Obtém um espaço de trabalho de IA multifornecedor moderno — conversa, geração, fluxos, memória, bases de conhecimento — a correr sobre os seus modelos, no seu equipamento, com a auditabilidade que uma equipa de conformidade pede de facto.
Fale connosco sobre uma instalação auto-alojada ou leia a secção sobre instalações locais em /docs para a arquitetura de referência.