并非每个团队都能把提示发到别人的云上。受监管的行业、公共部门的负载,以及数据驻留规则严格的企业,都需要自家的人工智能技术栈留在自己的网络之内。ToRun 正是为这种情形以可自托管平台的形式发行——而且不是删减版。这是同一个产品,在你的掌控之下。
这里的自托管意味着什么
自托管的 ToRun 是部署在属于你的基础设施上的完整平台:你自己的服务器、你自己的 Kubernetes 集群,或数据中心里的一台 Docker 主机。没有为了推理而回连的义务。当你分流一条对话消息、一次图像生成或一个工作流步骤时,请求去往你所配置的模型,而它们可以完全是本地的。
部署被设计成可由一个小团队运维。一条命令的 Docker 安装会拉起 API、Angular 前端、MongoDB、Redis 与事件总线。此后你指向自己的模型后端与对象存储,平台的表现便与托管版一致。
带上你自己的本地大语言模型
ToRun 的按能力分流并不在意模型住在云供应商那里,还是在你自己机柜的 GPU 机器上。你把模型连同它支持的能力(文本、视觉、工具、结构化输出等)登记进目录,把客户端指向你本地的推理端点,它便进入与其他一切相同的分流管线。
这意味着你可以通过本地服务器运行开放权重的模型——就是多数自托管团队已在使用的那些兼容 OpenAI 的推理端点——并让 ToRun 按能力与成本在它们之间挑选,正如它在云供应商之间挑选一样。若你的策略允许,一条工作流可以把本地模型用于敏感步骤、把云模型用于其余步骤。或者,你可以把每一次调用都留在边界之内。
同样的部件,在你的密钥之下
自托管并不意味着放弃平台的信任机制。在你自己的基础设施上,你依然拥有:
- 按能力分流——在你登记的模型后端之间自动回退。
- 每次调用一条计费记录——成本台账依你配置的价格工作,因此哪怕算力是你的,你仍能按团队、按模式、按模型归集开支。
- BYOK 保险库——为你仍选择使用的云供应商而设,凭据静态加密,其解析留有审计轨迹。
- 哈希链式审计——供需要防篡改凭据的操作使用。
- GDPR/KVKK 数据权利工具——数据主体的访问与删除都在你自己的数据库上运行,因此一次删除请求完全在你的控制边界内完成。
授权与更新
自托管版按部署授权,并提供源代码访问,好让你的安全团队能审阅在你边界内运行的东西。更新以签名版本送达,由你决定何时应用——不存在把变更推进受监管环境的强制自动更新。对确有需要的团队,还有源代码托管存放的安排,好让部署无论供应方境况如何都能继续运转。
这是给谁的
如果你对采用人工智能平台的反对意见一直是「那些数据不能出我们的网络」,那么自托管的 ToRun 就是答案。你得到一个现代的多供应商人工智能工作空间——对话、生成、工作流、记忆、知识库——面向你自己的模型、在你自己的硬件上运行,并带着合规团队真正会要求的可核查性。
欢迎与我们谈谈自托管部署,或阅读 /docs 中关于本地部署的章节以了解参考架构。