Nie każdy zespół może wysyłać swoje zapytania do cudzej chmury. Branże regulowane, obciążenia sektora publicznego i przedsiębiorstwa ze ścisłymi regułami miejsca przechowywania danych potrzebują, żeby ich stos AI został wewnątrz własnej sieci. ToRun jest rozprowadzany jako platforma do samodzielnego hostingu właśnie dla tego przypadku — i nie jest to wersja okrojona. To ten sam produkt, pod twoją kontrolą.
Co oznacza tu samodzielny hosting
Samodzielnie hostowany ToRun to pełna platforma wdrożona na infrastrukturze, która należy do ciebie: twoje serwery, twój klaster Kubernetes albo pojedynczy host Docker w centrum danych. Nie ma obowiązku dzwonienia do domu po wnioskowanie. Gdy kierujesz wiadomość czatu, generowanie obrazu albo krok przepływu, żądanie idzie do modeli, które skonfigurowałeś, a te mogą być w całości lokalne.
Wdrożenie pomyślano tak, by mógł je prowadzić mały zespół. Instalacja Dockera jednym poleceniem podnosi API, interfejs w Angularze, MongoDB, Redisa i szynę zdarzeń. Dalej wskazujesz swoje zaplecza modeli i swoją pamięć obiektową, a platforma zachowuje się jak wersja hostowana.
Przynieś własne lokalne LLM
Kierowaniu według zdolności w ToRun jest obojętne, czy model mieszka u dostawcy w chmurze, czy na maszynie z GPU w twojej własnej szafie. Rejestrujesz model w katalogu ze zdolnościami, które obsługuje (tekst, widzenie, narzędzia, wyjście strukturalne itd.), wskazujesz klienta na swój lokalny punkt wnioskowania i wchodzi on w ten sam potok kierowania co wszystko inne.
Znaczy to, że możesz uruchamiać modele o otwartych wagach przez lokalny serwer — te same zgodne z OpenAI punkty wnioskowania, których już używa większość zespołów hostujących samodzielnie — i pozwolić ToRun wybierać między nimi po zdolności i koszcie dokładnie tak, jak wybierałby między dostawcami w chmurze. Przepływ może mieszać model lokalny do kroków wrażliwych z chmurowym do pozostałych, jeśli twoja polityka na to pozwala. Albo możesz trzymać każde wywołanie wewnątrz obwodu.
Te same elementy, pod twoimi kluczami
Samodzielny hosting nie oznacza rezygnacji z mechaniki zaufania platformy. Na własnej infrastrukturze nadal masz:
- Kierowanie według zdolności z automatycznym zapasem między zapleczami modeli, które zarejestrujesz.
- Jeden wpis rozliczeniowy na wywołanie — księga kosztów pracuje na twoich skonfigurowanych stawkach, więc nadal możesz przypisywać wydatek do zespołu, trybu i modelu, choć obliczenia są twoje.
- Sejf BYOK dla tych dostawców chmurowych, których jednak zdecydujesz się użyć, z poświadczeniami szyfrowanymi w spoczynku i śladem audytu ich rozstrzygania.
- Audyt z łańcuchem skrótów dla działań wymagających dowodu nienaruszalności.
- Narzędzia praw do danych RODO/KVKK — dostęp i usunięcie na wniosek osoby działają na twojej bazie, więc żądanie wymazania jest spełniane w całości wewnątrz twojej granicy kontroli.
Licencjonowanie i aktualizacje
Wersja samodzielnie hostowana jest licencjonowana na wdrożenie z dostępem do kodu źródłowego, żeby twój zespół bezpieczeństwa mógł przejrzeć, co działa wewnątrz obwodu. Aktualizacje przychodzą jako podpisane wydania, które stosujesz, kiedy zdecydujesz — nie ma wymuszonej autoaktualizacji wpychającej zmiany do regulowanego środowiska bez twojej zgody. Dla zespołów, które tego potrzebują, istnieje umowa depozytu kodu, żeby wdrożenie pozostało zdatne do działania niezależnie od sytuacji dostawcy.
Dla kogo to jest
Jeśli twoim zastrzeżeniem wobec przyjęcia platformy AI zawsze było „nie możemy wypuścić tych danych z naszej sieci", to samodzielnie hostowany ToRun jest odpowiedzią. Dostajesz nowoczesne wielodostawcze miejsce pracy z AI — czat, generowanie, przepływy, pamięć, bazy wiedzy — działające wobec twoich modeli, na twoim sprzęcie, z audytowalnością, której naprawdę żąda zespół zgodności.
Porozmawiaj z nami o wdrożeniu własnym albo przeczytaj rozdział o instalacji lokalnej pod /docs, żeby zobaczyć architekturę referencyjną.