Nicht jedes Team darf Prompts an eine fremde Cloud schicken. Regulierte Branchen, behördliche Lasten und Unternehmen mit strengen Datenresidenzregeln brauchen ihren KI-Stack im eigenen Netz. ToRun kommt genau dafür als selbst hostbare Plattform — und das ist keine abgespeckte Ausgabe. Es ist dasselbe Produkt, unter eurer Kontrolle.
Was selbst gehostet hier bedeutet
Selbst gehostetes ToRun ist die vollständige Plattform, betrieben auf Infrastruktur, die euch gehört: eure Server, euer Kubernetes-Cluster oder ein einzelner Docker-Host in einem Rechenzentrum. Für die Inferenz gibt es keine Pflicht, nach Hause zu telefonieren. Wenn ihr eine Chat-Nachricht, eine Bildgenerierung oder einen Workflow-Schritt leitet, geht die Anfrage an die Modelle, die ihr konfiguriert habt — und die können vollständig lokal sein.
Die Installation ist so gebaut, dass ein kleines Team sie betreiben kann. Eine Docker-Installation mit einem Befehl bringt die API, das Angular-Frontend, MongoDB, Redis und den Event-Bus hoch. Von dort zeigt ihr auf eure Modell-Backends und euren Objektspeicher, und die Plattform verhält sich identisch zur gehosteten Version.
Bringt eure eigenen lokalen LLMs mit
Dem fähigkeitsorientierten Routing von ToRun ist es gleich, ob ein Modell bei einem Cloud-Anbieter oder auf einer GPU-Maschine im eigenen Rack liegt. Ihr tragt ein Modell mit den Fähigkeiten in den Katalog ein, die es unterstützt (Text, Sehen, Werkzeuge, strukturierte Ausgabe und so weiter), richtet den Client auf euren lokalen Inferenz-Endpunkt, und es tritt in dieselbe Routing-Pipeline ein wie alles andere.
Das heißt, ihr könnt Modelle mit offenen Gewichten über einen lokalen Server betreiben — dieselben OpenAI-kompatiblen Inferenz-Endpunkte, die die meisten selbst hostenden Teams ohnehin nutzen — und ToRun nach Fähigkeit und Kosten unter ihnen auswählen lassen, genau wie unter Cloud-Anbietern. Ein Workflow kann ein lokales Modell für sensible Schritte mit einem Cloud-Modell für unsensible mischen, wenn eure Richtlinie das erlaubt. Oder ihr haltet jeden Aufruf innerhalb der Grenze.
Dieselben Bausteine, unter euren Schlüsseln
Selbst zu hosten heißt nicht, auf die Vertrauensmechanik der Plattform zu verzichten. Auf eurer eigenen Infrastruktur bekommt ihr weiterhin:
- Fähigkeitsorientiertes Routing mit automatischem Fallback über alle Modell-Backends, die ihr registriert.
- Ein Abrechnungssatz pro Aufruf — das Kostenbuch arbeitet gegen eure konfigurierten Tarife, sodass ihr Ausgaben je Team, je Modus und je Modell weiterhin zuordnen könnt, auch wenn die Rechenleistung euch gehört.
- BYOK-Tresor für alle Cloud-Anbieter, die ihr doch nutzen wollt, mit ruhend verschlüsselten Zugangsdaten und einer Prüfspur der Auflösung.
- Hash-verkettete Prüfung für die Vorgänge, die Manipulationssicherheit brauchen.
- DSGVO-/KVKK-Werkzeuge für Datenrechte — Auskunft und Löschung laufen gegen eure eigene Datenbank, ein Löschbegehren wird also vollständig innerhalb eurer Kontrollgrenze erfüllt.
Lizenzierung und Updates
Die selbst gehostete Ausgabe wird je Installation lizenziert, mit Zugang zum Quellcode, damit euer Sicherheitsteam prüfen kann, was innerhalb eurer Grenze läuft. Updates kommen als signierte Releases, die ihr nach eigenem Zeitplan einspielt — es gibt kein erzwungenes Auto-Update, das Änderungen ohne eure Freigabe in eine regulierte Umgebung schiebt. Für Teams, die es brauchen, gibt es eine Quellcode-Hinterlegung, damit die Installation unabhängig vom Status des Anbieters betriebsfähig bleibt.
Für wen das ist
Wenn euer Einwand gegen eine KI-Plattform immer „diese Daten dürfen unser Netz nicht verlassen“ war, ist selbst gehostetes ToRun die Antwort. Ihr bekommt einen modernen Multi-Anbieter-KI-Arbeitsplatz — Chat, Generierung, Workflows, Gedächtnis, Wissensdatenbanken — laufend gegen eure eigenen Modelle, auf eurer eigenen Hardware, mit der Nachvollziehbarkeit, nach der ein Compliance-Team tatsächlich fragt.
Sprecht uns auf eine selbst gehostete Installation an oder lest den On-Premise-Abschnitt unter /docs, um die Referenzarchitektur zu sehen.