Das Problem mit „nimm einfach GPT-4“
Die meisten KI-Plattformen treffen still eine Wahl für dich: Sie suchen sich ein Modell aus, verdrahten alles damit und machen weiter. Das funktioniert, bis es nicht mehr funktioniert — bis das Modell ausfällt, bis ein Wettbewerber für eine bestimmte Aufgabe etwas Besseres bringt, bis du deinen eigenen API-Schlüssel mitbringen und Kosten auf deinem Konto halten willst, bis du Bildgenerierung brauchst und dein Standardmodell keine Bilder erzeugen kann.
Die übliche Abhilfe ist ein Dropdown. Wähl ein Modell, nimm es überall, finde die Abwägungen selbst heraus. Das ist kein Routing, das ist Abwälzen. ToRun macht etwas strukturell anderes.
Die fähigkeitsorientierte Pipeline
Jede Anfrage in ToRun durchläuft vier Stufen, bevor ein Modell angefasst wird.
1. Der Modus benennt die Produktoberfläche. Wenn du eine Chat-Sitzung öffnest oder eine Recherche startest, wählst du einen Modus. Der Modus ist nicht nur ein Etikett — er trägt einen definierten Satz erforderlicher und optionaler Fähigkeiten. Eine Recherche braucht Werkzeuge (Websuche), langen Kontext und strukturierte Ausgabe. Eine einfache Chat-Sitzung braucht standardmäßig nur Textgenerierung.
2. Der Fähigkeitssatz wird zum Filter. ToRun pflegt einen Katalog von Modellen vieler Anbieter — OpenAI, Anthropic/Claude, Google/Gemini, DeepSeek, xAI/Grok, Mistral und andere. Jeder Katalogeintrag trägt die Verknüpfung der Fähigkeiten, die er tatsächlich unterstützt: Sehen, Werkzeuge, Codeausführung, Bildgenerierung, Audio-Eingabe, Audio-Ausgabe, Videogenerierung, Embeddings, Reranking, Echtzeit-Streaming, Schlussfolgern und mehr. Der Fähigkeitssatz aus Schritt eins wird dagegen abgeglichen. Modelle, die nicht alle erforderlichen Fähigkeiten erfüllen, fallen heraus.
3. Die Preis-Qualitäts-Rangfolge wählt den Sieger. Unter den Modellen, die den Fähigkeitsfilter passieren, sortiert ToRun danach, was die Anfrage tatsächlich ist. Eine kurze, einfache Frage wird nach Kosten sortiert, du bekommst also eine schnelle und günstige Antwort. Eine längere oder schwerere wird nach Fähigkeit je Kosteneinheit sortiert, gegen eine Qualitätsuntergrenze. Ein Zug mit einem Bild darin wird danach sortiert, wie gut ein Modell sieht, nicht nach Denkleistung pro Dollar. Workflow-Runner schalten auf Qualität zuerst, denn eine automatisierte Strecke, die ohne dein Zusehen läuft, sollte das beste Ergebnis wählen und nicht die billigste Abkürzung. BYOK-Nutzer fließen anders in die Preisbildung ein, weil die Anfrage über ihr eigenes Anbieterkonto läuft.
4. Fallback-Ketten fangen Anbieterausfälle ab. Gibt das gewählte Modell einen Dienstfehler zurück, läuft dieselbe Pipeline erneut, dieses Modell ausgeschlossen. Das zweitbeste geeignete Modell antwortet stattdessen. Dir wird kein Fehler angezeigt, solange nicht alle infrage kommenden Kandidaten ausfallen.
Ein konkretes Beispiel: Sehen plus Werkzeuge
Angenommen, du fügst einen Screenshot ein und bittest ToRun, im Web nach Kontext zum Gezeigten zu suchen. Diese Anfrage berührt zwei Fähigkeiten gleichzeitig: Sehen (das Modell muss ein Bild als Eingabe annehmen) und Werkzeuge (das Modell muss eine Websuchfunktion aufrufen können).
Bei einem Einzelmodell-Ansatz steckst du fest: Deine Plattform unterstützt diese Kombination oder eben nicht. Beim fähigkeitsorientierten Routing schneidet ToRun beide Anforderungen. Nur Modelle mit bestätigter Sehunterstützung UND bestätigter Werkzeugunterstützung überstehen den Filter. Aus dieser Auswahlliste sucht die Preis-Qualitäts-Rangfolge das beste Modell für deinen aktuellen Modus. Ist der Spitzenkandidat rate-limitiert oder nicht verfügbar, übernimmt der nächste auf der Liste, ohne dass du etwas tust.
Das ist praktisch bedeutsam: Die Menge der Modelle mit Sehunterstützung hat sich im vergangenen Jahr erheblich verändert, und sie wird sich weiter verändern. Fähigkeits-Routing heißt, dass ToRun neu hinzugefügte Modelle automatisch berücksichtigt, sobald sie katalogisiert sind — ohne Produktänderung auf deiner Seite.
Warum das die Bindung schlägt
Eine Einzelmodell-Plattform hat genau eine Ausweichstrategie: warten, bis der Anbieter seinen Ausfall behebt. Eine fähigkeitsorientierte Plattform hat einen Katalog. Hat OpenAI einen Vorfall, werden Anfragen, die Anthropic oder Gemini bedienen können, dort bedient. Bietet ein neues Mistral-Modell ein besseres Preis-Qualitäts-Verhältnis bei strukturierter Ausgabe, tritt es ohne erzwungene Migration in die Rangfolge der passenden Modi ein.
Dieselbe Logik gilt für BYOK. Fügst du deinen eigenen API-Schlüssel für einen Anbieter hinzu, wird diese Berechtigung in die Routing-Schicht eingegrenzt. Anfragen, die zu den geeigneten Modellen des Anbieters passen, können aus deinem Schlüssel schöpfen statt aus dem Konto von ToRun, wodurch die Kosten in der passenden Abrechnungsstufe auf deine Anbieterbeziehung wandern. Die Routing-Pipeline ändert sich nicht — nur welche Berechtigung zur Ausführungszeit benutzt wird.
Der Preis dafür ist Ehrlichkeit: ToRun kann nicht garantieren, dass das billigste Modell das klügste für deine Aufgabe ist. Die Rangfolge liegt offen — du kannst sehen, was gewählt wurde und warum, und du kannst überstimmen. Genau diese Nachvollziehbarkeit ist der Punkt. Jede Anfrage schreibt einen Abrechnungssatz mit dem verwendeten Modell, der zur Ausführungszeit gültigen Preiseinheit und der Kostenaufschlüsselung. Du kannst jeden Aufruf noch Monate später prüfen, selbst nachdem sich Anbieterpreise geändert haben, weil die Momentaufnahme im Augenblick des Laufs eingefroren wurde.
Ein Modell, das alles kann, ist eine bequeme Fiktion. Was du wirklich willst, ist eine Plattform, die für jede Aufgabe das richtige Modell findet und diese Wahl lesbar macht.