Не всякая команда может отправлять свои промпты в чужое облако. Регулируемым отраслям, государственным нагрузкам и предприятиям со строгими правилами расположения данных нужно, чтобы их ИИ-стек оставался внутри собственной сети. ToRun поставляется как самостоятельно размещаемая платформа именно для этого случая — и это не урезанная редакция. Это тот же продукт, под вашим контролем.
Что здесь значит самостоятельное размещение
Самостоятельно размещённый ToRun — это полная платформа, развёрнутая на инфраструктуре, которая принадлежит вам: ваши серверы, ваш кластер Kubernetes или один узел Docker в центре обработки данных. Нет обязанности «звонить домой» ради вывода. Когда вы маршрутизируете сообщение чата, генерацию изображения или шаг процесса, запрос идёт к настроенным вами моделям, которые могут быть целиком локальными.
Развёртывание рассчитано на управление небольшой командой. Установка Docker одной командой поднимает API, интерфейс на Angular, MongoDB, Redis и шину событий. Дальше вы указываете свои серверы моделей и объектное хранилище, и платформа ведёт себя как размещённая версия.
Приносите свои локальные LLM
Маршрутизации по возможностям в ToRun безразлично, живёт ли модель у облачного поставщика или на машине с GPU в вашей собственной стойке. Вы регистрируете модель в каталоге с возможностями, которые она поддерживает (текст, зрение, инструменты, структурированный вывод и т. д.), направляете клиент на свою локальную точку вывода, и она входит в тот же конвейер маршрутизации, что и всё остальное.
Это значит, что вы можете запускать модели с открытыми весами через локальный сервер — те же совместимые с OpenAI точки вывода, которые уже используют большинство самостоятельно размещающихся команд, — и позволить ToRun выбирать между ними по возможностям и стоимости точно так же, как он выбирал бы между облачными поставщиками. Процесс может сочетать локальную модель для чувствительных шагов с облачной для остальных, если ваша политика это позволяет. Или вы можете держать каждый вызов внутри периметра.
Те же узлы, под вашими ключами
Самостоятельное размещение не означает отказ от механизмов доверия платформы. На своей инфраструктуре вы по-прежнему получаете:
- Маршрутизацию по возможностям с автоматическим резервом между серверами моделей, которые вы зарегистрируете.
- Одну биллинговую запись на вызов — журнал затрат работает по настроенным вами тарифам, поэтому вы по-прежнему можете относить расходы на команду, режим и модель, даже если вычисления ваши.
- Хранилище BYOK для тех облачных поставщиков, которых вы всё же решите использовать, с шифрованием учётных данных в покое и журналом аудита их разрешения.
- Аудит с цепочкой хешей для действий, требующих доказательства неизменности.
- Инструменты прав на данные GDPR/KVKK — доступ и удаление по запросу субъекта работают против вашей базы, поэтому запрос на стирание удовлетворяется целиком внутри вашей границы контроля.
Лицензирование и обновления
Самостоятельно размещаемая редакция лицензируется на развёртывание с доступом к исходному коду, чтобы ваша команда безопасности могла проверить, что работает внутри периметра. Обновления приходят подписанными версиями, которые вы применяете по своему решению — нет принудительного автообновления, проталкивающего изменения в регулируемую среду без вашего согласия. Для команд, которым это нужно, существует соглашение о депонировании кода, чтобы развёртывание оставалось работоспособным независимо от положения поставщика.
Кому это подходит
Если вашим возражением против внедрения ИИ-платформы всегда было «мы не можем выпустить эти данные из сети», самостоятельно размещённый ToRun — ответ. Вы получаете современное мультипровайдерное ИИ-рабочее пространство — чат, генерация, процессы, память, базы знаний — работающее против ваших моделей, на вашем оборудовании, с проверяемостью, которую действительно требует команда соответствия.
Обсудите с нами самостоятельное развёртывание или прочитайте раздел о локальной установке в /docs, чтобы увидеть эталонную архитектуру.